问题标签 [zcat]

我的系统上有很多 zip 文件。我需要计算所有符号的数量。但我的命令不起作用：

但如果我只是 zcat /RAID/s.korea/onlyzip/00/node/2015-03.compare19.zip 它工作正常。请问你能帮帮我吗？

我有一个用 Python 编写的巨大管道，它使用非常大的 .gz 文件（压缩约 14GB），但需要更好的方法将某些行发送到外部软件（来自 blast-legacy/2.2.26 的 formatdb）。我有一个很久以前有人为我写的 Perl 脚本，它的速度非常快，但我需要在 Python 中做同样的事情，因为管道的其余部分是用 Python 编写的，我必须保持这种方式。Perl 脚本使用两个文件句柄，一个用于保存 .gz 文件的 zcat，另一个用于存储软件需要的行（每 4 行中的 2 行）并将其用作输入。它涉及生物信息学，但不需要经验。该文件为 fastq 格式，软件需要 fasta 格式。每 4 行是一个 fastq 记录，取第 1 行和第 3 行并在第 1 行的开头添加“>”，这是 formatdb 软件将用于每条记录的 fasta 等价物。

perl 脚本如下：

它真的很好用。我怎么能在 Python 中做同样的事情？我喜欢 Perl 如何使用这些文件句柄，但我不确定如何在不创建实际文件的情况下在 Python 中做到这一点。我能想到的就是 gzip.open 文件并将我需要的每条记录的两行写入一个新文件并将其与“formatdb”一起使用，但这太慢了。有任何想法吗？我需要将它放入 python 管道中，所以我不能只依赖 perl 脚本，而且我还想知道一般如何做到这一点。我假设我需要使用某种形式的子流程模块。

这是我的 Python 代码，但它再次变慢并且速度是这里的问题（巨大的文件）：

在我的“test.tar.gz”中有一个文本文件：“test.txt”，其中：

col1 {tab} col2 {tab} col3

-

问题是，当我运行它时：

它返回：

所以如果我添加：

它返回：

提前感谢！

我在一个目录中有一些压缩后的日志文件，它们看起来像这样：

我想json从包含字符串的所有日志中取出第 4 列（一些字符串）time并将它们归类到一个文件中。这就是我所做的，我得到了zcat: unknown compression format错误。

我的代码有什么问题？我可以直接把它传给awk?

我需要编写一个 perl 脚本来从其路径的文本文件列表中读取 gzip 文件，然后将它们连接在一起并输出到一个新的 gzip 文件。（我需要在 perl 中执行此操作，因为它将在管道中实现） 我不确定如何完成 zcat 和连接部分，因为文件大小将以 Gbs 为单位，我需要注意存储和运行时间也是。

到目前为止，我可以将其视为-

不知何故，我无法让它运行。另外，如果有人可以指导输出此压缩文件的正确方法。

谢谢！

我正在尝试读取旧的最后一个文件，但是当我使用下面的命令时，它无法按预期工作。有没有办法我可以在一行中做到这一点？

我希望能够在不解压缩文件的情况下读取文件。

长版如下：

如何内联 zcat 2 .gz 文件以在 unix 中执行差异？已尝试 eval 但语法不正确。

我正在尝试编写一个处理脚本，但我一开始就卡住了。它似乎没有错，但我不能简单地理解错误在哪里，因为它正在完成执行但没有给出任何输出。任何调试帮助？

运行命令：

我在代码中没有看到任何错误，它也在正常运行，但仍然没有得到任何输出。谁能指出我的问题？

我正在尝试读取压缩文件。我正在使用 command 执行此操作tar tf abc.tar.xz。因为文件的大小是1TB所以需要很多时间。我对 bash 脚本不太熟悉。我还有其他命令，例如zcat 3532642.tar.gz | moreand tar tf 3532642.tar.xz |grep --regex="folder1/folder2/folder3/folder4/"and

但是我发现它们在执行文件以读取其内容所需的时间方面没有太大区别。

有谁知道我怎样才能在最短的时间内为压缩文件处理如此大量的数据。任何帮助，将不胜感激！！！

我想使用 asyncio 在网络上流式传输一个大日志文件。我从数据库中检索数据，对其进行格式化，使用 python 的 zlib 对其进行压缩并通过网络将其流式传输。

这里基本上是我使用的代码：

我检索到的文件无法使用 gunzip 和 zcat 打开引发以下错误：