问题标签 [lzo]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
protocol-buffers - 烫伤 + LZO +Protobuf
是否有任何指针可以让 Scalding 在 HDFS 上处理 LZO Protobuf 数据？
我正在尝试读取存储在二进制 Protobuf 中并使用 Scalding 在 LZO 中压缩的文件。我们可以使用 Elephantbird 来读取这些文件吗？任何指针将不胜感激！
我看过 LzoTraits 和 LzoProtobufScheme？但我不确定我应该如何使用它来读取数据？任何例子都会很棒！
hadoop - LZO-就地在 HDFS 上压缩和索引文件？
通常我会执行以下操作来使用 LZO：
- 使用 lzop 命令压缩本地磁盘上的数据文件。
- 放入HDFS。
- 使用分布式 lzo 索引器生成 .index 文件。
我想知道有没有办法同时压缩和索引 HDFS 上的原始文件？
java - lzo 编解码器 b/w python 和 java 的区别
我遇到了一个奇怪的问题，无法在 java 中膨胀/解压缩 lzo 压缩数据，这些数据是从 python lzo 模块放气/压缩的，尽管两者似乎都使用相同的本机 lzo 编解码器实现。为了提供更多详细信息，我从这里使用 python 模块：
并压缩一个简单的字节“a”产生
并在java中使用压缩相同的字节“a”
产量
尾随部分看起来很相似，即部分 [11 00 00] 但标题肯定看起来不合适。我确保python和java都使用lzo 2.03版，python和java中的默认压缩策略都是LZO1X_1。任何帮助将不胜感激。
ios - iOS 是否将 LZO 幻数放在压缩内存的开头？
我正在尝试解码 iOS 内存图像。iOS 和 MacOS 现在使用 LZO 压缩。每个压缩页面的开头是否有一个幻数？如果是，那么神奇的数字是多少？
testmini我的测试minizlo表明它没有。
hadoop - Spark/Hadoop 对大型 LZO 文件抛出异常
我正在对存储在 S3 中的一些 LZO 压缩日志文件运行 EMR Spark 作业。有几个日志文件存储在同一个文件夹中，例如：
在 spark-shell 中，我正在运行一项计算文件中行数的作业。如果我为每个文件单独计算行数，则没有问题，例如：
如果我使用通配符以单行方式加载所有文件，则会出现两种异常。
例外情况是：
和
在我看来，解决方案是由最后一个例外给出的文本暗示的，但我不知道如何继续。LZO 文件的大小是否有限制，或者有什么问题？
我的问题是：我可以运行将所有 LZO 压缩文件加载到 S3 文件夹中的 Spark 查询，而不会出现与 I/O 相关的异常吗？
有 66 个文件，每个文件大约 200MB。
编辑：只有在使用 Hadoop2 核心库（ami 3.1.0）运行 Spark 时才会发生异常。使用 Hadoop1 核心库（ami 2.4.5）运行时，一切正常。这两种情况都使用 Spark 1.0.1 进行了测试。
java - 在java中使用lzo压缩
我正在尝试在 java 中使用 LZO 压缩。是否有合适的库来执行此操作。我尝试了 lzo-java，但与 gzip 相比，它似乎真的很慢。做这个的最好方式是什么？
java - Java LZO 压缩库
我正在尝试在我的 Java 程序（http://www.oberhumer.com/opensource/lzo/）中使用 LZO 压缩库。我找不到一个如何使用它来压缩和解压缩数据的示例。有人可以帮我吗？显然本机代码不在 Java 中，所以我也不确定要采取哪些步骤来使用它（JNI 之类的？！）
hadoop - 是否有可用于 lzo 压缩二进制数据的 Scalding 源？
我正在使用Elephant Bird 的可拆分 LZO 压缩将序列化的 Thrift 记录写入文件。为了实现这一点，我正在使用他们的ThriftBlockWriter课程。然后，我的 Scalding 作业使用FixedPathLzoThrift源来处理记录。这一切都很好。问题是我仅限于单个 Thrift 类的记录。
我想开始使用RawBlockWriter而不是ThriftBlockWriter[MyThriftClass]. 因此，我的输入将是 LZO 压缩的原始字节数组，而不是 LZO 压缩的 Thrift 记录。我的问题是：我应该用什么代替FixedPathLzoThrift[MyThriftClass]？
“protocol-buffers”标签的解释：Elephant Bird 使用 Protocol BuffersSerializedBlock类来包装原始输入，如此处所示。
c++ - 错误代码 LZO_E_LOOKBEHIND_OVERRUN 是什么意思？
我正在尝试解压缩一些压缩数据，但我得到一个错误代码LZO_E_LOOKBEHIND_OVERRUN。这个错误是什么意思？
我已经检查了源代码中的注释和谷歌上的几个结果，但我找不到它的含义。
我正在使用 LZO 1x 999 压缩和这个解压缩功能。
hive - 使用 ORC 格式的 LZO 压缩
我正在尝试将一些非常大的 Hive 表从文本格式转换为 ORC 格式，希望它会占用更少的存储空间并且查询会更快。由于我们使用 LZO 作为整个资产的压缩，因此我也尝试将其用于 ORC 格式。
对于你们可以提供的任何帮助，我将不胜感激。
我正在使用 Hadoop 2.4.0 和 Hive 0.13.1
根据下面的链接，似乎应该可以使用 ORC 格式的 LZO 压缩：
http://2013.berlinbuzzwords.de/sessions/orc-file-improving-hive-data-storage https://hive.apache.org/javadocs/r1.1.0/api/ql/org/apache/hadoop/hive /ql/io/orc/package-summary.html
但是当我做类似的事情时
我收到以下错误：