google-cloud-data-fusion - 在 Cloud Data Fusion 中加载许多表失败并出现 DAG 错误

Question

我有一个包含大约 1000 个表的 MS SQL Server 数据源，我需要将它们放入 BigQuery。我希望使用 Data Fusion 将它们全部加载到 BigQuery 中的暂存表中，然后对它们执行转换。但是，一旦我创建了一个带有两个“岛”的管道，它就会出现 DAG 错误。这是一个功能还是我做错了什么？我在文档中找不到任何东西。我的管道如下所示：

我尝试部署时遇到的错误是：“无效的 DAG。有一个由 BigTest、BigQuery BigTest 阶段组成的岛（没有其他阶段连接到它们）。”

Answer 1

每个管道都是一个 DAG（有向无环图），并且所有源和接收器都应该连接以使配置有效。您可以使用多表源插件，可以一次将多个表引入 BQ 中的一个登陆表。

您可以为您的用例使用 Multi table 插件和 BQ Multi table sink。