问题标签 [lzo]

嗨，我听说过 lzo 和 lzf，似乎它们都是压缩算法。它们是一样的吗？有没有其他类似的算法（轻快）？

我真诚地感谢您阅读我的帖子。

我正在尝试在我的服务器上的 HBase 上安装 LZO 2.03 压缩编解码器（运行 Xeon CPU）。我目前正在使用 HBase 0.90.2 运行 Hadoop 0.20.1。

我遵循了http://wiki.apache.org/hadoop/UsingLzoCompression的指导方针。我从http://code.google.com/p/hadoop-gpl-compression/下载了 LZO 本机连接器（Hadoop-GPL-Compression） 。

我使用安装了 lzo 库./configure --prefix=/home/ckwon/wks/test/lzo_lib_x64 --enable-shared --disable-asm --build=x86_64-pc-linux-gnu

（带有make install自定义目录）。

然后我将所有 LZO 库文件和 GPL 压缩文件（包括 native/）复制到 $HADOOP_HOME/lib/ 和 $HBASE_HOME/lib

然后我使用以下脚本运行 bin/hbase org.apache.hadoop.hbase.util.CompressionTest：

它正在生成

我尝试在禁用 i386 汇编代码的 x86_64-pc 中重建 LZO 库，但仍然导致错误。

我会很感激任何建议。

我有一个为客户端生成 JSON 的服务器端程序。我的一些同事建议使用 zip/gzip 压缩来减少通过网络发送的数据量。但是，当针对我的一条普通 JSON 消息进行测试时，它们实际上都增加了发送的数据量。直到我发送了一个异常大的回复，拉链才开始起作用并且很有用。

所以我开始研究 stackoverflow，最终找到了LZO，它在测试时完全符合我的要求。但是，我似乎找不到算法运行时间的文档，而且我还不够好，无法坐下来自己研究代码：)

tl;博士？LZO 的运行时间？

用于 lzo-net ( http://lzo-net.sourceforge.net/ ) 我正在寻找新版本的 lzo.dll 文件。我的是2004年的。

最新的文件应该是 2.0.6 ( http://www.oberhumer.com/opensource/lzo/download/ )

但我只有视觉工作室，编译不起作用。我跑

但我只收到错误消息。

我在哪里可以下载最新的 x86 版本的 lzo.dll？

我将压缩速度与许多其他工具（SharpZipLip、DotNetZip、ManagedQLZ、QuickLZSharp、MiniLZO、Deflate、SevenZip）进行了比较，但对于我的应用程序来说，lzo 是最快的。

因此，我认为最好使用可用的最新版本。也许还有其他可以提供帮助的改进和错误修复。

我收到以下错误：

所以，我在网上看过几个教程，但每个教程似乎都说要做一些不同的事情。此外，他们每个人似乎都没有指定您是试图让事情在远程集群上工作，还是在本地与远程集群交互，等等......

也就是说，我的目标只是让我的本地计算机（mac）让 pig 使用已经设置为使用 lzo 文件的 Hadoop 集群上存在的 lzo 压缩文件。我已经在本地安装了 Hadoop，并且可以使用 hadoop fs -[command].

当我运行脚本或通过 grunt 运行东西时，我也已经在本地安装了 pig 并与 hadoop 集群通信。我可以很好地加载和播放非 lzo 文件。我的问题只是想办法加载 lzo 文件。也许我可以通过集群的 ElephantBird 实例来处理它们？我不知道，只在网上找到了很少的信息。

因此，任何类型的简短教程或答案都会很棒，希望能帮助更多的人，而不仅仅是我。

我尝试在我的配置单元脚本中使用 lzo，但收到此错误消息。似乎我在类路径中没有 lzo 类。

以前有没有其他人遇到过这个问题，如何解决这个问题，也许我需要知道的是我可以在哪里获得lzo压缩的jar文件，thx。

我需要安装 python-lzo-1.08。当我尝试从 gz 文件执行此操作时，出现错误：
NameError: name 'CURL_DIR' is not defined
操作系统：win7
我无法在任何地方找到 Windows 安装程序（谷歌仅获取 gz 或断开的 msi/exe 链接）。
也许有人有这个文件？请分享！( sergiy.panasyuk88@gmail.com ) 或帮助解决错误“名称'CURL_DIR'未定义”。

谢谢！

[更新]我已经编译成功，任何其他追逐这些二进制文件的人都可以从这里下载

我通过从 Visual Studio 命令提示符 (2010) 发出以下命令来编译lzo 的 2.06版

它生成 lzo2.dll 没有任何错误，但这看起来不像真的生成了 64 位 dll，因为我的 32 位 C# 应用程序仍然可以引用和调用方法（成功）

如何编译 64 位版本？

随着问题的改变，关于这个问题的一些评论可能已经过时了，但是当它涉及更多时，我把它改回原来的问题，所以我可以将回复标记为答案

使用类似算法时，压缩比的合理最小压缩块大小是LZO多少？我希望压缩 32B 是没用的，但压缩 512B 可能会很好。我是不是太远了？请不要“检查自己的答案”:)

我正在尝试为 Hbase 设置 LZO 压缩。但是我在创建 build.xml 时遇到了问题。日志如下：

即使这样，我也正确设置了 JAVA_HOME 但仍然有些奇怪，它给出了该错误。