azure - 我可以同时将来自多个数据源的数据上传到 azure DW

Question

我可以使用单个管道同时从多个数据源将数据检索到 Azure SQL DataWarehouse 吗？

Answer 1

SQL DW 当然可以使用外部（又名 PolyBase）表、bcp 或插入语句同时加载多个表。正如 hirokibutterfield 所问，您指的是特定的加载工具，如 Azure 数据工厂吗？

Answer 2

是的，您可以，并且根据所需的转换程度，有两种方法可以做到这一点。无论采用哪种方法，数据源对 ADF 都无关紧要，因为您的数据移动是通过查看数据集并负责在相关数据源上触发查询的复制活动发生的。

方法一：

如果您对表的所有转换都可以在源系统上的 SELECT 查询中完成，那么您可以拥有一组指定 SELECT 语句的复制活动。这是简单的方法

方法二：

如果您的转换需要复杂的集成逻辑，请首先使用复制活动将原始数据从源系统复制到 SQLDW 实例中的临时表（步骤 1）。然后使用一组存储过程进行转换（步骤 2）。

作为 Step1 输出的 ADF 数据集将作为 Step 2 的输入数据集，以保持一致性。

Answer 3

是的，你可以，但是你必须提到每个被复制到天蓝色数据仓库的数据源的复制活动。