问题标签 [trifacta]

我正在使用 Trifacta Wrangler 重新排列存储在 CSV 文件中的一些数据集。我必须生成一个 CSV 文件作为输出，但是当我这样做时，即使列类型设置正确，Trifacta Wrangler 也会用引号包围每个值，甚至是整数和浮点数。我怎样才能避免这种情况？

我将时区标识符作为字符串包含在存储在 Google Cloud DataStore 中的数据中，并且我想获取该时区标识符与 UTC 的当前时间偏移量（包括夏令时的任何调整）。例如，我想返回类似-08:00, 或+6:00

我使用的标识符是（支持的时区值）（这些似乎是由Trifacta定义的时区标识符，它是提供数据准备功能的 Google 的合作伙伴） - Google 文档似乎是 Trifacta 自己的文档的副本- https://docs.trifacta.com/display/SS/Supported+Time+Zone+Values。

谷歌文档说这与支持的时区值有关：

对于支持使用指定时区的功能，您可以应用[支持的时区值]作为参数来指定时区

所以，我想知道是否可能有函数（在 Java 中或在 GQL 中）将接受支持的时区值并返回偏移量，或者允许它被派生？例如，我想知道 Trifacta 或 GQL 中是否有类似于AT TIME ZONESQL Server 2016 中的东西。

如何根据支持的时区值将当前偏移量返回到 UTC？

我真的是 GCP 数据准备的新手，现在正在尝试创建一个配方，但我不知道该怎么做。

总之，我有 2 个文件，第一个包含此列： NAME，CONTRY_CODE， ...

第二个是： COUNTRY_CODE, COUNTRY_NAME

如何将第一个数据集中的COUNTRY_CODE替换为第二个数据集的COUNTRY_NAME（与相应的COUNTRY_CODE匹配）？

提前致谢！

我正在 Google Cloud Dataprep（由 Trifacta 提供）中导入数据集，以对我的数据源执行转换。但是在将 Google Drive Sheets 连接到 Big Query Console 后，我在列表中看不到它们。我将把它们用作我的转换规则。

我已经创建了另一个数据集，但问题仍然存在。

是否可以导入它们或尚不支持？

谢谢，

我有两个 Google 项目：dev和prod. 我还从位于这些项目中的不同存储桶导入数据：dev-bucket和prod-bucket.

在dev环境中进行并测试更改后，如何顺利应用（部署/复制）更改prod？

我现在要做的是从中导出流dev，然后将其重新导入prod. 但是，每次我需要在 `prod 流程中手动执行以下操作：

• 更改在流中用作输入的数据集
• 替换正确 BigQuery 数据集的手动和预定目标（dev-dataset-bigquery和prod-dataset-bigquery）

怎样才能做得更顺畅？

如何在 Dataprep 中将string具有格式的列转换yyyy-mm-dd HH:MM:SS为datetime列？

感觉它应该比我发现的更简单。

我有三个数据集/客户列表，其中包含一些重叠数据，但有些客户只存在于每个列表中。

列表 A：50 万条记录 列表 B：8 万条记录 列表 C：7 万条记录

每个的唯一标识符/密钥是电子邮件地址。

我尝试了各种加入这些的方法 - 左外，右外，外...

我最近尝试生成最大列表的方法是从列表 A 开始，然后使用电子邮件地址作为键加入其他两个列表。

但这样一来，我似乎只完成了一个包含 500k 常见记录的连接列表......

我觉得如果列表 A 中尚不存在任何新的、唯一的用户，则它们似乎正在从列表 B 和列表 C 中删除。

如何加入所有三个，实现重复数据删除，同时为 B 和 C 的不常见用户添加新行？

谢谢，

磷

Trifacta / Google Dataprep 允许使用其Unpivot Transform运算符对数据进行反透视，其中一个指定在设计阶段要对哪些列进行反透视。

怎么能说 unpivot 未知数量的列。这是一个数据示例：

unpivot 应该从列“1/22/20”等开始。

I have a table which has multiple payload values in separate rows. I want to combine those rows into a single row to have all the data together. Table looks something like this.

And I want to convert it to something like this.

I tried "set" and "aggregate" but they didn't work as I wanted them to and I am not sure how to go forward.

Any help would be appreciated. Thanks.

在 Trifacta 或 Google Cloud Dataprep 中，我试图用非字母数字 (�) 标记行。我用什么公式？试过这个公式，但不起作用