问题标签 [lzo]

我在 filenames.txt 文件中有很长的文件名列表。这些文件是 lzo 压缩的，我使用 lzop 对它们进行解压缩，以便在管道中进行进一步处理。

所以文件名逐行输入到 lzop -dc 中。然后将它们解压缩并通过管道传输到我编写的 lineprocessor.py 脚本中。最后将 lineprocessor.py 的输出写入 output.txt 中。

问题是 filenames.txt 中的某些文件没有正确压缩，lzop 崩溃，整个管道也是如此。我添加了 || true 以防止这种情况发生，但没有帮助。lzop 没有忽略错误的选项。我不关心错误压缩的文件。

有什么办法可以轻松解决这个问题吗？无论 lzop -dc 命令发生什么，我都希望管道继续运行。

我有一个问题，一些信息如下：

节点：3 个节点，但仅配置 2 个区域服务器
操作系统：Centos6.3
Apache Hadoop2.7.1
Apache Hbase0.98.12

我的hadoop和hbase支持lzo压缩，同时支持snappy压缩成功，我有一个使用lzo压缩的hbase表，还有其他使用snappy压缩的hbase表，我在这个表中插入50个recoder数据，好的，插入没问题，但是当我使用 java api 扫描这个表时，其中一个 regionserver 已经死了。

我检查 hbase 日志，但没有错误或异常，但我检查 hadoop 日志，我发现了一些异常：

我不知道为什么只扫描 hbase 表时抛出异常，因为我执行 MR 作业读取 lzo 文件是正常的，感谢您的回答！

首先，我之前做过很多研究，但我不得不问一些可能很简单的事情......或者不是，但我更愿意问你以便确定......

我有两种密钥，一种是我设置的，另一种是简单的 FourCC 代码。但是，例如使用 HxD 在 .exe 的代码中找到它们非常简单。所以我想隐藏.exe中的密钥，但不要更改它，这是我的密钥示例：

如您所见，我使用 LZO，但仍然很容易找到钥匙，因为我们通常知道她在哪里......

然后，这是 FourCC（它非常容易找到，因为我们只需输入字母，例如：DXT1.

所以我想通过使用内存来隐藏密钥（我没有例子，但我可以提供一个）或者加密密钥以便从程序中隐藏它，但我不知道（或者我不确定) 如何加密类似的东西：

谢谢，祝你有美好的一天！:)

我正在尝试使用 Spark SQL 来编写parquet文件。

默认情况下，Spark SQL 支持gzip，但它也支持其他压缩格式，例如snappy和lzo.

这些压缩格式有什么区别？

是否有一个库可以用来将文本文件压缩为 lzo 文件，并在纯 java 程序中在 hadoop 之外生成它的 lzo 索引文件？

我使用 Tweepy（一个 Python Twitter API 库）从 Twitter 接收大量数据流。我想要做的是压缩收到的推文流并将它们存储在文件中。

压缩必须是 LZO，我不想使用 Linux 管道进行压缩。我想直接从 Python 代码中使用 LZO。使用 Linux 管道我可以做到：

但我不想使用管道并想在 Python 脚本下载器中压缩流。

我找不到任何 Python 库或示例代码来使用 LZO 压缩流数据。

我只是按照 Cloudera 文档中的步骤，在集群上安装了 GPL Extras Parcel，并通过 Cloudera Manager 配置了 HDFS 服务。但是尝试读取 HDFS 上的 .lzo 文件时出现错误：

我已经阅读了十几篇文章，并且知道这是由于 JNI 加载 lzo 库失败引起的，但是没有一个可以正确解决我的问题。以下是我所做的努力：
1.所有datanodes都安装了lzop。
2.mapred-site.xml中的JAVA_LIBRARY_PATH设置为/opt/cloudera/parcels/CDH/lib/hadoop/lib/native，其中包含liblzo2.*文件。
3.HADOOP_CLASSPATH 设置为包含 hadoop-lzo.jar 文件的 /usr/local/lib。

我还可以做些什么？任何建议，将不胜感激！

我有数百个大型 lzo 压缩文件位于我想复制到 Hadoop DFS 的服务器上。对于未压缩文件，我使用的常用命令是

我假设这不适用于压缩文件（因为cat可能没有意义）。我是否首先需要将文件复制到名称节点和放置：

似乎应该有更好的方法来做到这一点。

我正在尝试python-lzo在 mac OS Sierra 上安装。我曾经brew安装过clzo库：

然后我尝试python-lzo使用虚拟环境进行安装，并且pip：

这给了我以下输出：

该lzo1x.h文件确实存在于此处：/usr/local/opt/lzo/include/lzo/或使用以下brew命令：

然后我尝试设置CFLAGS环境变量，但仍然有同样的错误：

绝望中：

还是一样的错误信息，有什么想法吗？

-- 更新 --
还尝试将变量直接传递到pip：

这次我得到一个稍微不同的错误：

非常感谢

- 成功 - -

非常感谢@daphtdazz 您的解决方案（见下文）有效！我已经稍微修改了它以使用brew --cellar命令来获取lzo文件的位置：

export C_INCLUDE_PATH=$(brew --cellar lzo)/2.09/include/lzo:$(brew --cellar lzo)/2.09/include/ export LIBRARY_PATH=/usr/local/lib pip install python-lzo

我想阅读一个用 lzo 算法压缩的镶木地板文件。让我们假设运行一个 spark-shell（在基于 ec2 的 spark 集群中，使用 ec2-script 构建）并将以下代码放入其中：

我收到此异常：

我也遵循了本指南，但错误仍然相同。建议？