我正在尝试在 Datafusion 中实现 type2。有人可以通过使用管道转换/动作/条件来帮助执行插入和更新来实现这一点。我试图使用 Wrangler 为源和目标生成哈希并加入它们。我在这里感到震惊，不知道如何确定要更新/插入的内容以及如何处理这些内容。我的目标是 BigQuery 表。
问问题
346 次
1 回答
0
欢迎来到堆栈溢出@Manasa！
一旦您考虑将Bigquery作为目标接收器的仓库，利用SCD 类型 2合并方法，您可能首先要获得如何实现它的实践方法，组合特定的 SQL 语句，达到所需的逻辑。说到这里，我鼓励您学习这篇由@Hariharan Ramachandran撰写的精彩文章，通过SCD一些使用 Bigquery 服务作为目标数据持有者的示例来解释技术。
根据Data Fusion文档，您可以找到一组丰富的插件，扩展标准数据处理工作流程。因此，在这种特殊情况下，我建议您实施BigQuery Execute可以在您的管道中调整的插件，针对 Bigquery 托管服务执行 SQL 查询并执行一些SCD2具体行动。
于 2020-02-17T09:56:11.367 回答