问题标签 [lzma]

我将 Json 消息发送到服务，该服务将这些消息重新发布给我们的用户。问题是我的一些消息大于允许的消息大小的最大限制，所以我想知道是否可以对我的消息应用任何类型的压缩，然后在客户端解压缩它们。

首先我在 C# 中尝试了 Gzip，但使用 JavaScript 解压缩似乎很难。

其他一些声音告诉尝试 LZMA 和 Zlip。

我是在正确的道路上，还是我应该以不同的方式思考。

我有一个巨大的文件，我们称之为one-csv-file.xz。它是一个 XZ 压缩的 CSV 文件。

如何在不先将文件解压缩到磁盘的情况下打开和解析文件？例如，如果文件大小为 100 GB，该怎么办？当然，Python 不能一次将所有这些读入内存。它会分页还是内存不足？

我正在尝试压缩我的一些大型文档文件。但是大多数文件最多只能压缩 10%。我正在使用 7zip 终端命令。

7z a filename.7z -m0=LZMA -mx=9 -mmt=on -aoa -mfb=64 filename.pptx

关于更改参数的任何建议。我需要至少 30% 的压缩比。

我正在尝试在 python中使用bz2和/或包。lzma我正在尝试以 csv 格式压缩数据库转储，然后将其放入zip文件中。我让它与两个软件包一起使用一次性压缩。

代码如下所示：

当我尝试使用增量压缩时，它会创建一个 .zip 文件，当我尝试提取该文件时，它会递归地提供一些存档文件。

代码如下所示：

我浏览了文档并查找了有关压缩技术的信息，似乎没有关于什么是一次性压缩和增量压缩的全面信息。

我正在使用 python 3.4

我有一个正在提取 7z 控制台 SFX 文件的爬虫，我希望以编程方式提取它们。

目前我只能通过子流程调用来做到这一点：

这是有问题的，因为该脚本的用户可能没有安装 7zip，或者可能将其安装在不同的目录中。此外，运行子进程不会像运行正常的 zFile 提取那样让我直接访问提取的项目。我可以通过提取到一个临时目录然后解析所述目录中的文件来解决这个问题，但这很麻烦。

我认为必须有一种方法可以用 Python 提取 7z 控制台 SFX 文件（可能是pylzma的东西？），但我似乎在这里找不到关于这个主题的任何问题。

更新：我使用 py7zlib 的成功仍然有限。我再次注意到这是用于提取 SFX（可执行）档案，而不是 .7z 档案。也许有一个用于此类文件的 py7zlib 应用程序，但我找不到任何示例。

你能举一个用lzma2压缩文件的例子吗？我在谷歌上搜索，但没有找到任何我能理解的例子。

我有很多 csv 文件包含在不同的 7z 文件中。我想在那些 7z 文件中找到特定的 csv 文件，并将它们解压缩后保存在不同的目录中。我努力了

但我收到以下错误

奇怪的是，该方法似乎适用于前两个 csv 文件。我不知道如何找到问题的根源。至少 csv 文件中的数据似乎没有什么不同。使用 IZArc 手动解压缩不同的 csv 文件没有问题。（问题出现在 python 2.7 和 3.4 中）。

我也尝试过使用 lzma 模块，但在这里我无法弄清楚如何检索 7z 文件中包含的不同 csv 文件。

我在delphi-zip库的这个线程链接中找到了 LZMA 的实现。但我无法从中正确使用解压。有人可以使用这个库为我写一点解压样本吗？

这是我的代码，它适用于压缩，但不适用于解压缩并返回 0 大小

使用 System.Zip.LZMA；

……

我也试过这样做，但还是不行

我正在尝试使用 lzma 从 www.dukascopy.com 解压缩文件（文件似乎是二进制文件，它是 .bi5 格式）。这是欧元/美元对的外汇数据。对不起，我对如何读取二进制文件不是很熟悉。我解压对了吗？如果是这样，我应该如何转换我解压缩的结果数据。

测试文件： https ://dl.dropboxusercontent.com/u/11283578/00h_ticks.bi5

我的测试代码：

哪个打印：

(starting with).....b'\x00\x00\x16\xd4\x00\x02X\xf6\x00\x02X\xe6@\x19\x99\x9a?\xe6ff\x00\x00 (\x00\x02X\xf7\x00\x02X\xe3A\x10\x00\x00@\x19\x99\x9a\x00\x00)c\x00\x02X\xed\x00\x02X\xe8@\xc0\x00\x00@\x9333\x00\x00.\x87\x00\x02X\xe9\x00\x02X\xe4@\x99\x99\x9a@\xc0\x00\x00\x00\x00.\xfa\x00\x02X\xe8\x00\x02X\xe3A\x10\x00\x00@\x19\x99\x9a\x00\x000N\x00\x02X\xe8\x00\x02X\xe3Aq\x99\x9a@\x99\x99\x9a\x00\x000\xc0\x00\x02X\xee\x00\x02X\xe4@\xc0\x00\x00?\xe6ff\x00\x001<\x00\x02X\xf4\x00\x02X\xeaA\x14\xcc\xcd@\x19\x99\x9a\x00\x001\xb3\x00\x02X\xf9\x00\x02X\xef@\xac\xcc\xcd@\xe6ff\x00\x002&\x00\x02X\xfb\x00\x02X\xf6@\x99\x99\x9a@\x19\x99\x9a\x00\x00T\xd7\x00\x02Y\x03\x00\x02X\xef@\x19\x99\x9a?\x99\x99\x9a\x00\x00U\x1b\x00\x02X\xfa\x00\x02X\xf5A\x14\xcc\xcd?\x80\x00\x00\x00\x00U?\x00\x02X\xf6\x00\x02X\xf1@\x99\x99\x9aAS33\x00\x00Uc\x00\x02X\xf3\x00\x02X\xe9@\x99\x99\x9a@\xac\xcc\xcd\x00\x00U\xef\x00\x02X\xe8\x00\x02X\xde@\x86ffA#33\x00\x00V\x13\x00\x02X\xdd\ ......(ending with)..... \x00\x02Y+\x00\x02Y!?\x80\x00\x00@\x99\x99\x9a'

我的程序适用于存储在 7z/ZIP 文件中的一些文件。但是，一些 7z/ZIP 文件的标题已修改，因此有必要在提取之前将它们更改为有效的标题。

修改后的标头始终相同，因此它包含在 const 变量中（以及有效的）：

替换解决方案非常简单，我希望我以正确的方式完成了它：

我遇到的问题是，每当我以小端或大端顺序替换 的所有实例时，我总是得到相同的顺序写入文件：to_fix而不是.PKZip04 03 4b 5050 4b 03 04

我尝试了以下方法：

所有上述变体都以错误的顺序替换。

为什么会这样？我在 64 位处理器上使用 Delphi 7（我敢打赌问题是由于这个）。