问题标签 [zcat]

我试图从一堆 .gz 日志文件中提取一个特定的值（例如在这种情况下是 userAgent），这些文件本质上是压缩的日志文件。这些日志文件中每个日志语句的格式如下所示：

在这种情况下，我想提取 userAgent 字段并以下列格式之一显示结果：

等等..

或仅打印以下值：

编辑：只是为了添加更多信息，这些空格分隔的字段，例如 key1=value1 key2=value2 可以以任何顺序出现

感谢帮助。谢谢！

我希望在 Linux 中创建一个 bash/perl 脚本，它将根据文件名恢复 .gz 文件：

下划线构成目录结构的地方..所以上面的两个将是：

这些都在 /backup/ 目录中。

我想编写一个脚本，通过将 _ 更改为 / 以找到正确的路径，将每个 .gz 文件放到正确的位置 - 以便 _path_to_another_file.conf.gz 的内容替换 /path/to/another/ 中的文本文件.conf

我首先创建了一个包含正确目标文件名的文件。我可以创建另一个文件来列出其中的原始文件名并让脚本逐行执行？

怎么想？

我必须解压缩，然后（处理后）再次压缩（归档）源文件。文件大小很大，通常约为200-250 GB（解压缩，.dat 格式）（总共 96 个文件）。解压缩过程大约需要 2 个小时，而压缩过程又需要 1:30 到 2 个小时，这是无法承受的。目前我使用“ zcat ”命令解压缩，使用“ gzip -3 ”压缩文件。磁盘空间不是问题，因为我们已经安装了 1.5 TB。请您建议一些更有效的方式来执行此过程..

期待您的建议，谢谢 - Pushkar。

我试图每小时从一堆.gz日志文件中计算特定字符串的出现次数。每个日志文件语句都以以下时间格式开始：

例如，为了更清楚起见，查找字符串"abc"在上午 8 点到 9 点之间的出现次数，然后是 9 点到 10 点，依此类推。关于如何做的任何想法？

我得到了这些文件：

我有一个 for 循环来遍历文件，解压缩它们，然后用 grep 找到一个字符串：

如果我运行它，我会得到以下信息：

似乎 zcat 正在用额外的 .gz 扩展文件名但是当我尝试从命令行 zcat 文件时它没有这样做，只是拿起提供的文件名并完成它的工作。为什么在循环中调用时会发生这种情况？

我知道我可以通过使用 zgrep 或 find 来达到同样的效果，但仍然对了解 zcat 的这种行为感兴趣。谢谢！

我想使用 subprocess 将以下 shell 命令转换为 python 代码。特别是，如何将多个 <(zcat ...) 转换为标准输入？理想情况下，代码应该使用 subprocess.call，但 subprocess.Popen 也可以。

这是我正在处理的代码，用于在 tar.gz 中搜索模式，然后输出找到的文件。

早些时候我有一个类似的问题，但我已经弄清楚了问题 - 当我传入一个已压缩到级别 9 的 tar.gz 文件时，python 返回一个空指针类型错误 - 我相信罪魁祸首在于高压缩级别，因为当我传入常规无参数 tar.gz 文件时，此代码有效...

所以，我试图做一个 gzip.open，但它没有正确提取文件......我试图找出其他方法来搜索和检索带有模式的文件，而无需解压缩整个文件，因为这会花费很多不必要的空间被用完。例如，从 gzip 文件流式传输 zcat 是否有效？

这是我处理过的一些代码的片段

我正在使用此页面上的将整个数据库转换为 ASCII 文本文件标题下描述的方法来存档 sqlite3 数据库文件。

归档数据库文件工作正常：

按照该页面上的说明（尽管使用gzcat而不是zcat），我尝试将存档重建到数据库中，如下所示：

这会执行并store_new.db创建，但它是一个零 KB 文件。我究竟做错了什么？

（我在 OS X 上使用 SQLite 3.7.13。）

–––––––––––––––––––––––––––––––––––––––––––––––––––</p>

更新：

甚至直接执行 sqlite3 -> sqlite3 转储：

生成一个零 KB 的 store_new.db 文件 :-( 感谢任何帮助！

我的问题可能与 Java 并不完全相关，但我目前正在寻找一种方法来组合几个压缩（gzipped）文本文件，而无需手动重新压缩它们。假设我有 4 个文件，所有文本都是使用 gzip 压缩的，并且想要将它们压缩成一个 *.gz 文件而不用 de + 重新压缩它们。我目前的方法是打开一个 InputStream 并逐行解析文件，存储在一个 GZIPoutputstream 中，它可以工作但不是很快......我当然也可以调用

这也可以，但也不是很快。

我的想法是复制输入流并将其直接写入输出流而不“解析”流，因为我实际上不需要操作任何东西。这样的事情可能吗？

我正在尝试将文件提取到特定目录，但它不会产生结果。

命令：

如果我们在上面的命令中删除 value -C ，它会产生结果。

谢谢