6

我必须解压缩，然后（处理后）再次压缩（归档）源文件。文件大小很大，通常约为200-250 GB（解压缩，.dat 格式）（总共 96 个文件）。解压缩过程大约需要 2 个小时，而压缩过程又需要 1:30 到 2 个小时，这是无法承受的。目前我使用“ zcat ”命令解压缩，使用“ gzip -3 ”压缩文件。磁盘空间不是问题，因为我们已经安装了 1.5 TB。请您建议一些更有效的方式来执行此过程..

期待您的建议，谢谢 - Pushkar。

4

2 回答 2

14

-q解压时试试静音模式。如果存档中有太多文件，这将大大减少时间，因为 unzip 会将名称写入标准输出。

man unzip：

   -q     perform  operations  quietly  (-qq  = even quieter).  Ordinarily
          unzip prints the names of the files it's extracting or  testing,
          the extraction methods, any file or zipfile comments that may be
          stored in the archive, and possibly a summary when finished with
          each  archive.   The -q[q] options suppress the printing of some
          or all of these messages.
于 2019-01-04T10:05:18.800 回答
6

如果磁盘空间不是问题，那么就永远不要压缩。那么你也永远不需要解压缩。

如果您有多个内核，您可以尝试pigz来加快速度。它是 gzip 的并行实现，可以特别加快压缩速度。

我不明白为什么你的解压比你的压缩慢。它应该快三到十倍。你能提供你正在做什么的实际代码吗？那里一定有什么问题。

顺便说一句，您的术语不正确。压缩和解压缩是指 .zip 格式，而不是 .gz 格式。您只会说您压缩和解压缩 gzip 格式。

于 2013-10-09T20:23:41.677 回答