azure-pipelines - 使用日期的 CSV 文件作为 ADF 管道的触发器

Question

我有一个 ADF 管道，我需要基于包含零星日期的 csv 文件运行它。

有没有办法实现这个？我唯一的想法是每天触发一个管道，该管道有一个 databricks 脚本来检查当前日期是否与文件中的日期匹配？

谢谢

Answer 1

• 在 ADF 数据流中，有一个文件选项列表来指定要处理的数据：

• 数据工厂是惰性评估的，因此您可以添加另一个步骤并过滤，例如您可以添加“存在”（或不存在）规则并有第二个数据集（当您指定日期时）检查是否必须处理：

• 按日期分区也可能会有所帮助

Answer 2

在 ADF 中创建一个新管道。此管道将具有查找活动以从您的文件中读取数据（日期）。之后使用 Foreach 活动迭代该日期，然后使用 If 活动来决定是否实际运行您的原始管道。

当您的条件匹配时，在 IF 活动中，使用执行管道活动来实际运行您的原始管道。