1

我需要构建 Data Studio 仪表板并使用 BigQuery 数据集中的数据。

我已经使用 Data Fusion 从本地 MS SQL 服务器将我的数据导入到 BQ，要求是我必须删除最后 5 天的记录，并在记录的顶部导入相同时间范围内的新更新记录BQ 数据集...

到目前为止，我能够使用管道完成所有工作，但是当我运行管道时，它确实将数据再次附加到 BQ 表中，最终得到重复数据。

我正在寻找一种在 BQ 从管道接收新数据之前对数据进行一些操作的方法。数据融合中有什么可以帮助解决这个问题的吗？

问候

4

1 回答 1

2

我们最近将此功能添加到 google-cloud 插件中。您可以在此处查看更改 - Google-Cloud-Plugin PR#140。您可以等待更新版本的 google-cloud 插件发布，也可以在本地构建它并在您正在测试的 Data Fusion 实例中安装插件。

希望这可以帮助。

于 2019-08-29T01:11:46.843 回答