azure-data-factory-2 - 数据工厂数据流源中的动态文件名

Question

我正在使用一个管道，该管道将表数据从本地 SQL 动态加载到 datalake csv 文件，为我已经设置为使用 Foreach 加载到 AzureSQL 中的 versionControl 表中的每个表下沉一个 .csv 文件。

因此，加载数据后，我想根据加载的每个 .csv 文件的 MAX(lastUpdate) 字段，用 lastUpdate 日期更新 versionControl 表。为了做到这一点，我知道我需要在复制活动之后添加一个数据流，所以我可以使用聚合转换，但不知道如何在参数中动态地将文件名传递给数据流的源。

谢谢！

Answer 1

2个选项：

1. 参数化数据集。在数据流中使用具有文件名参数的源数据集。然后，您可以将该文件名作为管道参数传入。

2. 参数化源通配符。您还可以在数据流中使用仅指向容器中文件夹的源数据集。然后，您可以参数化 Source 中的通配符属性，并将文件名作为管道参数发送。