azure-data-factory - 将 blob 容器中的不同架构合并到单个 sql 表中

Question

我必须从具有不同架构的 blob 容器中的文件夹中读取 10 个文件（表 macthes 中的大部分架构）并将它们合并到一个 SQL 表文件中 1：假设有 25 个这样的列

文件 2：文件 2 中的某些列与文件 1 中的列匹配

文件 3：

输出：一个sql表

如何在 Azure 数据工厂中设置管道以将这些列合并到单个 SQL 表中。

我的方法：获取元数据活动--->每个子项---复制活动

对于映射---我构建了一个 json，其中包含这些文件中的所有源/接收器列

Answer 1

您可以创建一个 JSON 文件，其中包含您的每个源文件名和表格转换器。然后使用查找活动来获取此文件的内容（不要只检查第一行）。在 For Each 活动中循环此数组并在数据集中传递源文件名。最后，创建一个复制数据活动并使用表格转换器作为您的映射。