0

我目前正在学习如何使用 Azure 数据工厂。我尝试进行我在 Python 脚本中所做的数据摄取和转换。现在我尝试在数据工厂上做同样的事情,因为它应该更容易。

我有一个压缩文件夹。它包含 Tar 文件。每个文件都包含压缩的 cvs 文件。通过将 csv 文件直接摄取到 blob 中当然很容易,但是如果我必须自动接收这样一个压缩文件夹,如果我什至无法弄清楚如何解压缩,我将如何将 csv 加载到数据库中, detar 并再次解压缩?在这种情况下,我使用来自真实案例研究的气候数据......如果您知道如何处理这个问题,我将不胜感激!提前致谢!!!

4

1 回答 1

0

根据官方文档,adf blob 存储数据集仅支持以下压缩类型:

在此处输入图像描述

adf 自然不支持 tar 格式。但是,您可以遵循同一文档中提到的解决方案,使用 Azure Function提取 tar 文件的内容或使用自定义 dotnet 活动构建此功能。考虑到您稍微复杂的情况,我建议您使用自定义活动。

于 2019-10-07T09:36:23.767 回答