azure - 在 azure 数据工厂复制活动后获取文件列表

Question

在 azure 数据工厂中的复制活动之后，是否有一种方法可以为我提供在 azure 数据湖存储中复制的文件列表？我必须从数据源复制数据，并且必须根据特定条件跳过文件。条件还必须使用 sql 数据库中的其他数据检查文件路径和名称。任何想法？

Answer 1

截至目前，复制活动后没有获取文件列表的功能。但是，您可以使用获取元数据活动或查找活动并将筛选活动链接到它以根据您的条件获取文件列表。

您可以在此处查看解决方法。

“在这种情况下，解决方案实际上非常简单。我刚刚在 Azure 数据工厂中创建了另一个管道，它由 Blob Created 事件触发，并将文件夹和文件名作为参数传递给我的笔记本。似乎运行良好，而且最小需要多少配置或代码。基本过滤可以用事件来完成，剩下的就看笔记本了。

对于遇到这种情况的其他任何人，请参阅以下详细信息：

https://docs.microsoft.com/en-us/azure/data-factory/how-to-create-event-trigger "