我目前有一个由简单的复制活动组成的管道,它从第三方的 FTP 服务器获取压缩文件,解压缩文件并将它们复制到 blob 存储容器。
吞吐量非常低(7 KB/s),简单地复制文件而不解压缩不会造成任何问题(700 KB/s,这与使用 FileZilla 的 FTP 服务器的常规下载速度一致)。
对于数据工厂团队,运行 ID 为:825e15a9-aba6-47ed-8656-88c9b6bc3754
以下数据集中的一些名称已被修改。
输入数据集:
{
"name": "InputDataset",
"properties": {
"linkedServiceName": {
"referenceName": "3PPFtpServer",
"type": "LinkedServiceReference"
},
"type": "FileShare",
"typeProperties": {
"compression": {
"type": "ZipDeflate",
"level": "Fastest"
},
"fileName": "sample_file.zip",
"folderPath": "/dir1/dir2/"
}
},
"type": "Microsoft.DataFactory/factories/datasets"
}
输出数据集:
{
"name": "OutputDataset",
"properties": {
"linkedServiceName": {
"referenceName": "AzureStorageLinkedService",
"type": "LinkedServiceReference"
},
"type": "AzureBlob",
"typeProperties": {
"fileName": "",
"folderPath": "test-output/"
}
},
"type": "Microsoft.DataFactory/factories/datasets"
}
我在调整减压方面有什么问题吗?