问题标签 [lzo]

我有一个 LZO 压缩文件/data/mydata.lzo，想通过一些 MapReduce 代码运行它。我首先使用hadoop-lzo包使用以下命令创建一个索引文件：

这运行成功

并创建文件/data/mydata.lzo.index。我现在想通过其他一些 Hadoop Java 代码运行它

它执行正确，但需要永远。我注意到它只拆分文件一次（当我在非 LZO 文件上运行相同的作业时，它拆分了大约 25 次）

我究竟做错了什么？

hadoop-lzo 文档有点欠缺。它说“现在在新文件上运行任何作业，比如 wordcount ”。我首先认为我应该使用该/data/mydata.lzo.index文件作为我的输入，但使用它时我得到一个空输出。该文档还说“请注意，如果您忘记索引 .lzo 文件，该作业将起作用，但将在单个拆分中处理整个文件，这将降低效率。 ”因此无论出于何种原因，它都看不到该index文件。

传递索引文件的正确方法是什么？

编辑：根据GitHub 上的这个问题，会自动推断索引文件并将根据文件大小进行拆分。仍然不知道为什么我得到一个拆分。

我有一个 dropwizard 应用程序，我在 hadoop-lzo 库中使用它来解压缩一些用 lzo 压缩的文件。当我使用它时，它显示此错误：

如何在mac中安装本机库gpl压缩，并在java应用程序中加载？

我有一个二进制文件，我需要从中提取信息。我知道它是一个压缩文件，文件的前 3 个字符是zip 我很确定 LZ 替换和/或 Huffman Coding 正在用于压缩这个文件。但是，该文件不遵循任何常规存档格式，例如 .rar 、 .zip 等。

我试图阅读该文件并发现以下架构

该文件有 3 个部分：

(A) 部分显示 16 字节的标头，包括 8 字节作为签名，具有以下字符值：122,105,112,1,0,12,0,0

(B) 部分是地址列表 (271)，每个地址都指向一个特定的文件地址，我认为这是 (C) 部分的记录起点。

(C)部分是实际数据

第一个地址（图中的 716）显示了部分（C）中的第一个记录（块）地址，因为部分 (C) 恰好在部分 (B) 结束时开始，所以第一个地址是部分 (B) 结束的地址，并且(C) 部分开始，并且由于文件在 (C) 部分完成后结束，因此 B 部分列表中的最后一个地址指向 (C) 部分中最后一条记录（块）结束的文件末尾。

为了使它适合图中，我必须在 (C) 部分中剪切记录（块），它们具有更多的字符，如图所示，第一条记录（块）的长度为 472 字节。

每个块的长度不同，因此它们的长度不相等。此外，最大记录的长度存储在标头（字节 13、14、15、16）中，即 955（187、3、0、0）我不知道为什么它在读取压缩文件时会派上用场。

正如您所看到的，所有记录都以两个字节 (120,218) 开头，结束字符不会被记录重复，实际上它们看起来非常随机。

我没有看到记录末尾的霍夫曼树或霍夫曼表之间有任何相似之处，但为了查看文件，我已将其上传到此处。

非常感谢任何帮助提取文件中的压缩数据。

下载部分 (C)

在指定端口上使用 tcpdmp 获取 UDP 数据包后，我无法解码/解压缩数据。消息人士称，这些数据是使用 lz4/lzo 压缩算法压缩的。

这是一个包含数据的数据包的示例。解码这个的预期方法是什么？

有人构建过新版本 mtd-utils 2.0.0.1 吗？最新的 mtd-utils 使用 autotools 进行配置。但是当我使用以下配置参数时，配置失败。

/home/ubuntu/source/ 文件夹有 lzo 库和包含文件，但它仍然显示 lzo 丢失。谁知道我的配置有什么问题？

我有一些使用 lzo 压缩的 tsv 格式的数据。现在，我想在 java spark 程序中使用这些数据。

目前，我可以解压缩文件，然后使用 Java 将它们作为文本文件导入

我在第一个参数中传递了解压缩文件的路径。如果我将 lzo 文件作为参数传递，则 show 的结果是难以辨认的垃圾。

有没有办法让它工作？我使用 IntelliJ 作为 IDE，并且项目是在 Maven 中设置的。

我是 LZO 压缩和解压缩的新手。我正在尝试使用这个 lzo-java 库。

输入信息：

我有一个压缩格式的字节数组。这个字节数组我要解压，最后我要解压的字节数组。

注意：我不知道解压缩字节数组应该提供多少大小，因为我不知道解压缩字节的确切大小。

我在下面创建了代码，但它没有给出任何异常，甚至没有解压缩单个字节。

程序 ：

我在上面的代码中错过了什么？任何建议都会对我有所帮助！

我正在尝试使用 java-lzo 库解压缩压缩字节数组。我正在关注这个参考。

我在 pom.xml中添加了以下maven 依赖项-

我创建了一种方法，它接受 lzo 压缩字节数组和目标字节数组长度作为参数。

程序 ：

我被卡住了，因为stream.read() 总是返回一个 "-1"。我检查了输入数组，它充满了数据。此外，我使用 stream.available() 方法进行了检查，但在我的情况下，此方法也始终返回“0”。但是，如果我像 input.available() 一样检查 InputStream，则返回值是数组的长度。

错误是一样的，就像我说它返回“-1” -

那么，在初始化 LzoInputStream 时我错了，或者在那之后我需要做些什么？任何建议将不胜感激！

我从事 GIS 项目，我需要 64 位 gis lib。然后；

我做了什么？

• 我下载 lzo-2.10 文件。
• 我运行 Visual Studio 2015 64x 命令提示符
• cd C:\用户\用户\桌面\lzo-2.10
• 。/配置

我得到了一些这样的错误：'。' 不被识别为内部或外部命令、可运行程序或批处理文件。

包含 lzo-2.10 的 INSTALL.txt 表示：

编译这个包的最简单方法是：

1. cd' to the directory containing the package's source code and type ./configure' 为您的系统配置软件包。如果您使用csh' on an old version of System V, you might need to type sh ./configure' 来防止csh' from trying to execute configure' 本身。

   运行“配置”需要一段时间。在运行时，它会打印一些消息，告诉它正在检查哪些功能。

2. 输入“make”编译包。

3. 或者，键入“make check”以运行软件包附带的任何自检。

4. 键入“make install”来安装程序和任何数据文件和文档。

5. make clean'. To also remove the files that您可以通过键入configure' created（以便您可以为不同类型的计算机编译包）从源代码目录中删除程序二进制文件和目标文件，键入make distclean'. There is also amake maintainer-clean' 目标，但这主要用于包的开发商。如果您使用它，您可能必须获得各种其他程序才能重新生成分发附带的文件。

但我什至无法迈出第一步。我搜索但无法解决这种情况。请帮助我。

我正在编写一个 Python 2.7 程序，它通过套接字连接发送和接收数据包，与基于 TCP/IP 的第 3 方 API 进行交互。

数据包由以下部分组成：

• 在数据前面插入一个 10 字节长的标头；
• 身体;
• 尾部必须附加到数据的末尾。

标头包括有关数据长度和数据类型的信息。整个数据包包括一个报头、实际数据和一个报尾。

压缩方法是MiniLZO。

我的问题是如何处理数据——特别是数据包的主体，它是用 MiniLZO 压缩的。

例如，当我发送这样的请求时：

服务器回复：

我安装了包python-lzo1.11 并尝试通过以下方式解压缩主体：

但它返回此错误：

我不知道如何解决这个问题。我试图用谷歌搜索它，但似乎关于 Python/MiniLZO 的信息很少。我不确定我是否lzo以错误的方式使用了包，或者数据一开始就被不正确地压缩了。