azure-data-factory - 使用数据工厂 V2 将文件名作为列

Question

我在 Blob 存储中有很多 JSON 文件，我想做的是通过 Data factoryV2 将 JSON 文件加载到 SQL 数据仓库中。我想要每个 JSON 文件的列中的文件名。我知道如何在 SSIS 中执行此操作，但我不确定如何在数据工厂中复制它。

例如文件名：CornerShop.csv 作为 SQL 数据仓库中文件名列中的 CornerShop

Answer 1

首先，请查看复制活动列映射的限制：

• 源数据存储查询结果没有在输入数据集“结构”部分中指定的列名。
• 接收器数据存储（如果具有预定义架构）没有在输出数据集“结构”部分中指定的列名。
• 接收器数据集的“结构”中的列少于或多于映射中指定的列。
• 重复映射。

所以，我不认为你可以一次进行数据传输和文件名。我的想法是：

1.首先使用GetMetadata活动。它应该获取您要复制的每个文件的文件路径。使用字段列表中的“子项”。

2.GetMetaData 活动成功后，执行ForEach 活动。对于 ForEach 活动的项目，传递文件路径列表。

3.在 ForEach 活动的活动中，放置 Copy 活动。@item()通过 Blob 存储源文件名或@item().name 在 Blob 存储源文件名上引用迭代项。

4.同时，将文件名作为参数配置到存储过程中。在存储过程中，将文件名合并到fileName列中。