问题标签 [lz4]

我基于无限深度的哈希链实现了基于 LZ77/LZ4（无熵编码）的压缩算法。效果不错，速度还可以，但压缩比接近LZ4。从 LZ4 项目中阅读文档和浏览源代码我知道它使用深度为 1 的哈希链，但如果我将实现的深度固定为 1，LZ4 的性能将优于它。

我不明白 LZ4 匹配搜索算法（快速扫描）是如何工作的。有人可以解释一下吗？

谢谢。

我有一组double值（10​​24 x 1024 矩阵）。我正在考虑使用lz4压缩算法来压缩这些数据。压缩后，我必须将这些数据发送到服务器，然后在服务器端进行一些处理并将其返回到本地机器。我是压缩新手，有点困惑。

我是否需要先将这些double值放入文件或其他格式中，然后进行压缩，或者我可以直接对值进行压缩而不将它们放入文件或其他格式中。

其次，如果您除了压缩还有其他建议lz4，请分享。

我尝试在 CentOS 中安装 lz4 库，但失败并出现以下错误。

设置 liblz4.so 的正确方法是什么？

此外，我找不到 CentOS 的 lz4 rpm 软件包，但可用于其他基于 rpm 的操作系统。CentOS 支持 lz4 吗？

在 lz4 示例中，有一个名为双缓冲区的“ https://github.com/Cyan4973/lz4/blob/master/examples/blockStreaming_doubleBuffer.c ”。这char inpBuf[2][BLOCK_BYTES]在读取压缩循环期间使用 a 并交替使用 inpBuf[0][]、inpBuf[1][]。

我无法理解这样做的好处。为什么不使用单个缓冲区？我错过了什么？

我了解 LZ77 和 LZ78 算法。我在这里和这里阅读了 LZ4并找到了它的代码。

这些链接描述了 LZ4 块格式。但是，如果有人可以解释（或引导我到一些资源解释），那就太好了：

• LZ4与LZ77有何不同？
• LZ4HC 与 LZ4 有何不同？
• 是什么想法让 LZ4HC 算法这么快？

I am trying to use LZ4 compression with Apache Spark and I understand that using the regular textFile method should be sufficient. However, if I load my file uncompressed everything works as expected but if I do it lz4-compressed the output ends up being empty.

I am wondering if the issue is related to the way I am compressing and decompressing. I am compressing my files using the java library https://github.com/jpountz/lz4-java version 1.3.0 (lz4 version 123). However, in the machine where the Spark workers are installed I have the hadoop native libraries for other versions. If I run the command to check them it shows:

Then the RPM I am installing for having the lz4.so library installed is the following:

http://rpm.pbone.net/index.php3/stat/4/idpl/28577074/dir/redhat_el_6/com/lz4-r127-1.el6.x86_64.rpm.html

As you see, it looks like I have three different versions of LZ4 but I am unable to find the same version. My first question is: should this work even if I don't have the same version?

If not, what should I do to configure correctly the native libs for Spark to understand lz4 compressed files?

I am using Spark 1.1.0 and passing the location of the native libraries via --driver-library-path with spark-submit.

我们正在研究 POC，以确定哪种压缩技术更适合用于以压缩格式保存文件，并从压缩格式中获得更好的性能。我们有 4 种格式 *.gz、*.zlib、*.snappy 和 *.lz4。

我们发现 *.gz 和 *.zlib 具有更好的压缩比，但它们在读取压缩文件时存在性能问题，因为这些文件不可拆分且 Mappers 的数量，reducers 始终为 1。Hive 0.14 默认接受这些格式。

但我们想为我们的文本文件测试其他压缩技术，如 *.lz4、*.lzo 和 snappy

任何人都可以帮助我如何配置我的配置单元以读取在 *.lzo、snappy 和 *.lz4 以及 Avro 中压缩的输入文件。

这些压缩技术是否存在于 hive 0.14 或者我是否需要上传这些 *.jar（我是 .NET Guys 不知道 java）并使用 Serde 进行序列化和反序列化。

任何人都可以帮助我 Hive 默认是否接受 *.lzo、*.snappy 和 *.lz4 和 avro 等文件格式来读取这些压缩文件，我是否需要配置 hive 来读取这些文件格式。在读取压缩文件格式时，我正在寻找最佳性能。可以在压缩比上妥协，但应该有更好的性能读取。

我正在使用 lz4-ruby gem。但是，它与发布到我的应用程序的 c 压缩 lz4 文件不兼容，无法解压缩该文件。

https://code.google.com/p/lz4/

我需要解压这个文件。有什么想法可以最好地在我的控制器中调用兼容的 lz4 解压缩工具吗？

我正在尝试将LZ4 压缩库与 Visual Studio 2013 中的 C++ 项目一起使用。我需要为其构建 .dll 文件，以便将其链接到项目中。我正在尝试使用 mingw 使用 make 文件构建它，但这会引发令人不快的错误。导航到存储库的基本目录并运行mingw32-make.exe会给出以下错误输出：

我对在 Windows 上编译 make 文件并不太熟悉，并且很难找出导致错误的原因。此外，考虑到这个压缩库的流行程度，我觉得有些奇怪，我在网上找不到任何关于为 Windows 编译它的信息。任何帮助编译这个东西都将不胜感激。

我读过 lz4 算法非常快并且具有很好的压缩效果。但是在我的测试应用程序中，压缩文本大于源文本。问题是什么？

我也试过 LZ4_compress，但结果是一样的。但是，如果我生成具有相同符号的字符串或使用两个不同的符号，则存在压缩。