google-cloud-data-fusion - Cloud Data Fusion Pipeline 中的 SCD 类型 2 实施

Question

我需要在我的数据融合管道中应用 SCD2 ，我的源数据是 GCS ，目标是 BigQuery 。我已经创建了管道并且能够将数据加载到目标 BigQery 中，所以现在我想将合并和更新过程作为 SCD2 的一部分来实现。你能帮我吗，因为我是谷歌云数据融合的新手。

Answer 1

@phaneendra 的方法是一种可能的解决方案。无论如何，Data Fusion 旨在以无代码的可视化方式使用。如果您想利用它的潜力，我建议您使用 Wrangler 进行数据转换。在 Google 的文档中，您可以找到关于如何使用它来清理、转换和处理客户数据的有趣且快速的教程。然后，您只需像现在一样使用BigQuery 插件接收转换后的数据。