0

我是天蓝色数据工厂的新手。我有一个 txt 文件列表(通过拆分一个巨大的 CSV 文件 - flight.txt 创建)。txt 文件列表被列为flightaa、flightab、flightac 等。只有第一个文件flightaa 有标题。我的所有文件都存储在输入容器的 Azure Blob 存储中。我正在将文件名从 flightaa 转换为 flight_1.csv,每个文件都有一个标题。我正在使用 Azure 数据工厂从输入容器复制到输出以及每个文件的标头。

如何存储一个文件的标头并将其用作 azure 数据工厂中所有输出文件的标头?有什么建议么?

4

2 回答 2

0

将数据流活动添加到您的管道。在数据流中,为带有标题的文件创建 1 个源,并为使用通配符读取没有标题的文件创建第二个源。

在带有标题的第一个源之后,将联合转换添加到第二个源。

于 2020-12-29T06:13:14.543 回答
0

您可以手动将您的标题从 flightaa.txt 提取到一个新文件作为源,并且不要检查First row as header选项。

然后,您可以获得元数据活动并循环所有文件以通过在数据流中使用联合来添加标题。

细节:

1.创建 4 个数据集和两个变量,如下所示。

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

在此处输入图像描述 2.通过获取元数据活动获取所有 txt 文件。 在此处输入图像描述

3. 使用 For Each 活动和检查Sequential选项循环子项。 在此处输入图像描述

4.使用两个获取数组索引Set Variable activity并将其传递给数据流。 在此处输入图像描述

在此处输入图像描述

在此处输入图像描述

5.在Data Flow中创建tow source并联合两个source。Source1 是content_file,Source2 是headers在此处输入图像描述

6.sink到你的输出容器。 在此处输入图像描述

在此处输入图像描述

于 2020-12-29T09:22:41.287 回答