问题标签 [xz]

我想使用 Hadoop Map/Reduce 处理使用 LZO 以外的其他东西压缩的分隔协议缓冲区文件，例如xz或gzip. Twitter 的大象鸟库似乎主要支持读取 LZO 压缩的 protobuf 文件，因此似乎不能满足我的需求。是否有现有的库或标准方法来执行此操作？

（注意：正如您从我选择的压缩算法中看到的那样，解决方案没有必要使 protobuf 文件可拆分。您的答案甚至不需要指定特定的压缩算法，但应该允许至少一个我提到的那些。）

我正在尝试编译 XZ-utils 代码以在 Android NDK 中使用。我遵循与正确编译 libogg 和 libtheora 库相同的过程。但是，创建 XZ-Utils 的 liblzma 库不起作用。这是我使用的程序：

1) 转到包含库源的文件夹。

2）配置Autotool makefile

3) 制作库并指定用于编译的工具链（位于/opt/ndk/）：

运行第三个命令时，出现以下错误：

我不知道是什么导致了这个错误，或者更重要的是，如何解决它。我搜索了这些错误，但找不到解决方案。对我来说，这似乎是源代码的 common/common.c 文件中的一个错误，但我认为这不太可能，因为其他人肯定会更早发现它。有人知道如何为 Android NDK 正确编译 XZ Utils 吗？

更新 我得到了要编译的库，尽管我仍然不知道上述过程有什么问题。通过配置 makefile 进行编译

而不是make命令，我直接使用了make install命令（具有相同的编译器路径）。

我正在尝试.tar.xz在一个命令中创建一个压缩存档。它的具体语法是什么？

我试过tar cf - file | xz file.tar.xz了，但这不起作用。

如何在 go 程序中读取xz文件？当我尝试使用 阅读它们时lzma，error in lzma header出现错误。

当我运行此代码时：

它不会打印输出文件（output.txt）中的所有内容，它会打印： http: //pastebin.com/1vTQZVih（对不起，外部链接）。

问题是它突然“停止”写入输出文件。

谢谢！

有没有办法将xz压缩工作分散到多个 CPU 上？我意识到这本身似乎是不可能的xz，但是是否有其他实用程序可以实现相同的压缩算法来提高处理器的利用率？我将在具有 16 个以上处理器的系统上的脚本和实用程序应用程序中运行它，并且至少使用 4-8 个处理器来潜在地加快压缩率会很有用。

我正在尝试使用 Python 2.7.6 中的 lzma 模块，看看我是否可以使用 XZ 格式为将来使用它的项目创建压缩文件。我在实验中使用的代码是：

我注意到与我使用普通 xz 时相比，生成的文件有两个不同的校验和（MD5 和 SHA256）（尽管我可以用任何一种方法解压缩 - 两个文件的解压缩版本的校验和是相同的）。这会是个问题吗？

更新：我通过 peterjc 的 Git 存储库（链接此处）安装后向端口（来自 Python 3.3）找到了解决方法，现在它显示了相同的校验和。不确定它是否有帮助，但我确保未安装我的存储库中的 LZMA Python 模块以避免可能的名称冲突。

这是我的测试代码来确认这一点：

我还使用常规的 sha256sum 验证了它（当我将数据写入文件时）。

我的 85MB 大小的 SQLite db 文件使用 XZ 格式压缩，其大小已减少到 16MB。我使用以下代码（以及XZ 为 Java提供的 JAR ）在 Android Jelly Bean 中解压它：

解压成功，但需要两分钟多才能完成。我认为这很长，因为压缩文件只有 16MB，未压缩文件只有 85MB。

我想知道我是否对代码做错了什么，或者有什么方法可以加快这个解压缩过程。

如果输入/输出是文件流，如何使用 7z SDK ( http://www.7-zip.org/sdk.html ) 在 C# 中压缩/解压缩XZ文件？

标题就是问题。

作为root，我尝试script -a - | nice_xzfull file.xz了 where nice_xzfull= ionice -c 3 nice -n 20 xz -vvz9e --lzma2=dict=64MiB,mf=bt4,nice=273 --threads=3（注意最后一个空格），而是script开始和停止，xz打印了压缩的方式，通过关闭 SSH 窗口而不是关闭并且在任何地方都可以找到而script停止明显。exitscriptfile.xz