azure - 将数据从 azure blob 存储复制到 adls gen 2

Question

我在 azure blob 存储中有大约 200 万个 json 文件。每个文件包含一条记录。我需要将所有这些 json 文件移动到创建日期大于 2019-01-01 的 adls gen 2。

注意：createdate 是 json 中的字段之一。

是否可以通过 azure 数据工厂实现这一点

Answer 1

是的，您需要使用查询来执行此操作。首先请把数据放到一些可以做数据分析的空间里。

首先，创建一个副本activity1（将数据从azure blob 存储复制到sql 数据库），然后创建一个副本activity2（将数据从sql 数据库复制到adls gen2。）

在复制活动2的源代码中，请这样做：

select *  
from dbo.test1 A 
where A.createdate >= '2019-01-01'

我已经做了一个测试，它工作正常。请试一试。