我在 Dataprep 中有一个流程，它使用 Bigquery 中的一个表，该表的架构已更改，现在如何在不影响我的 ETL 或删除我的步骤的情况下刷新初始导入。
问问题
654 次
2 回答
0
据我了解，BQ 连接器的本质是在每次处理您的流程时，打开一个配方、进入一个配方、运行一个作业……GDP 总是检查数据源。如果源数据发生了变化，您的 GDP 结果也会发生变化。
如果我错了，请有人赐教。
最好的。
/e
于 2018-09-27T18:06:15.780 回答
-1
如果您的表架构发生更改，您将需要从 BigQuery 再次导入该表，并将原始表与更新后的表连接起来。您可以按照以下步骤执行此操作：
1.在您的流程页面中，单击“添加数据集”按钮
2.在弹出菜单中，选择“Import Datasets”并选择具有更新模式的表
3.在您的食谱页面中，在当前第一步之前插入“加入数据集”步骤
4.选择刚刚导入的更新数据集，点击预览
5.在“Join Keys”选项卡下，选择“Right Outer Join”并将“Join Keys”设置为公共列。
请注意，这仅适用于数据集具有未更改的唯一 ID 列的情况。
于 2018-10-21T14:10:47.607 回答