0

我正在从不接受gzip编码的 HTTP 服务器下载一个 28GB(未压缩)的 CSV 文件。如果我下载整个文件然后使用 压缩它gzip,我将得到一个 6.6GB 的文件。我想使用aria2c并行下载选项(-x-s)下载但保存已经压缩的文件,这样我可以节省磁盘空间和 I/O(如果我下载未压缩版本然后运行,gzip file.csv我需要 28+6.6GB磁盘空间,并且必须执行所有 I/O 以将其保存为未压缩,然后将其保存为压缩)。

注意:我目前正在使用rows Python 库下载并保存压缩版本(此处为示例),但它不支持并行下载,并且由于下载完成时间过长,我需要使其并行。

4

0 回答 0