azure - 本地 FTP 服务器文件夹迁移到 Azure 数据湖

Question

我正在尝试将位于 FTP 服务器上的本地压缩文件夹迁移到 Azure datalake V2。这些文件夹每天都会在 FTP 服务器中创建。要求是将这些文件夹增量迁移到 Azure 并在迁移时解压缩文件夹（包含来自大型 [大约 4 次网球场] 医疗设备的不同子系统的日志）。我使用数据工厂创建管道和触发器以在一天中的固定时间运行管道，并在迁移后删除 FTP 上的文件夹。但是，我知道无法删除 FTP 上的文件夹，因为数据工厂不支持此功能，因为源 FTP 中存在 zip 文件。

Answer 1

1，首先，您需要知道解压缩文件并将它们移动到azure datalake，移动常用文件应该在两个活动中。在单个活动中处理压缩和未压缩文件是不可能的。

移动压缩文件的设置：

2、 Azure Datafactory 没有内置函数来处理来自 ftp 服务器的文件时间。因此，需要通过文件名来反映文件的创建时间，然后在移动文件之前根据文件名进行过滤。

让我知道这是否可以回答您的问题。