0

是否可以使用自定义名称在 Azure 数据工厂中为管道的每次运行在 blob 存储中创建一个csv文件?

每个csv都必须在其名称中包含运行日期(我可以使用变量轻松设置),因为它具有与该日期相关的数据。

我不知道该怎么做,因为“复制”活动中的接收器属性允许选择一个已经创建的“接收器数据集”,但不能在每个管道运行中创建一个新的。

4

1 回答 1

0

我不知道该怎么做,因为“复制”活动中的接收器属性允许选择一个已经创建的“接收器数据集”,但不能在每个管道运行中创建一个新的。

是的,源数据集和接收器数据集应该是准确的。执行复制活动时不能设置动态接收器数据集。

根据您的描述,您希望将每个 ADF 管道的执行日期分别记录到不同的文件中。据我所知,没有直接的选项可以实现。提供以下可能的解决方法供您参考:

使用您的 ADF 帐户启用诊断日志并设置日志文件的驻留(Blob 存储)。您可以查看该日志文件中的属性pipelineName ,start,end.

使用 Azure Function Blob Trigger 从文件中获取全部数据。并根据需要将文件单独创建到另一个带有代码的 blob 存储路径中。

于 2020-03-03T08:24:09.763 回答