问题标签 [snappy]

我正在尝试使用 Hadoop 2.4 运行 Oryx。Hadoop 成功启动并发出警告：

WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类。

Oryx 也成功启动。但是当我将数据摄取到其中时，会引发以下异常：

2014-08-22 14:35:05,835 错误 [37788 上的 IPC 服务器处理程序 3] org.apache.hadoop.mapred.TaskAttemptListenerImpl：任务：尝试_1408697508855_0002_m_000000_0 - 退出：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,835 INFO [IPC 服务器处理程序 3 上 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 2014 -08-22 14:35:05,837 INFO [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：来自尝试_1408697508855_0002_m_000000_0 的诊断报告：错误：org.apache.hadoop.util.NativeCodeLoader。 buildSupportsSnappy()Z 2014-08-22 14:35:05,840 信息 [AsyncDispatcher 事件处理程序] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl：attempt_1408697508855_0002_m_000000_0 TaskAttempt 从 RUNNING 转换到 FAIL_CONTAINER_CLEANUP

有没有人之前遇到过这样的问题？任何形式的帮助都将是可观的！

我正在使用LZ4库，并且在使用

我想估计最大解压缩数据大小。但我找不到反向功能

用它我可以确定解压数据的上限，提供给最后一个参数maxDecompressedSize，解压函数。

其他压缩库，例如snappy，提供了这样的功能。

如果我无法保存初始数据大小（压缩前），并且我不想对必须分配的缓冲区大小过于悲观，我该怎么办？

当我尝试在 hadoop 服务器中安装 DataNode 时，它​​说 gthe 以下错误，

那么有人可以帮我解决这个问题吗？

谢谢你。

我正在尝试使用 snappy-java 解压缩字节串

它包含两帧，第一帧的块值为 0xff（流标识符），长度为 6，第二帧的块类型为 1（未压缩），长度为 14。根据 [此处] 找到的协议规范（http://code. google.com/p/snappy/source/browse/trunk/framing_format.txt）

用于解压的代码在这里

代码抛出 FAILED_TO_UNCOMPRESS 错误，这是 jna 的一部分。我正在使用 scala v2.11.3 和 snappy-java v1.0.5.4

我下载了用于压缩的 Snappy 库源，在一台机器上一切都很好，但在另一台机器上却不行。它们具有完全相同的硬件/操作系统 + python 2.7.3 配置。

我所做的只是“./configure && make && make install”。

在这些过程中的任何一个过程中都有 0 个错误，并且它成功安装到了默认的 lib 目录，但是 python 无论如何都看不到它。help('modules') 和 pip freeze 在第二台机器上没有显示 snappy，因此我无法导入它。

我什至尝试“打破”结构并将其安装到不同的库目录中，但即使这样也没有用。我不认为它与系统环境变量有关，因为 python 在任何这些机器（Amazon EC2）上都应该具有完全相同的配置。

任何人都知道如何解决这个问题？

在我们的应用程序中，我们将 JSON 文档存储在 Couchbase 中，其结构如下：

{ "type": "sometype", "timestamp": 1458999, "data": "{\"key1\":\"val1\", \"key2\":\"val2\"}" }

该data字段的值是一个stringified非常庞大的 json 文档，大约 5-10MB 的文本。我们把它作为一个字符串（字符串化的 json）而不是 json 子文档，这样它就不会在通过应用程序的不同层时遭受序列化/反序列化，因为我们只需要将它原始放入和获取并从应用程序提供给客户端.

值得关注的是，couchbase 在写入磁盘时会压缩字符串化的 json。我不确定 couchbase 压缩是一种文本压缩还是某种只能压缩 json 文档的压缩？

使用：Amazon Aws Hive (0.13)
尝试：输出具有快速压缩的 orc 文件。

问题是，当我查看 mybucket 目录中的输出时，它不是带有 SNAPPY 扩展名的。但是，它是一个二进制文件。我错过了什么设置来将这些 orc 文件转换为压缩并使用 SNAPPY 扩展名输出？

当我们在一些处理后使用 Spark 时，我将结果存储到文件并使用带有简单代码的 snappy 编解码器：

之后，当我使用 Spark 读取此文件夹文件时，一切正常！但是今天我尝试在我的电脑中使用 java snappy (java-snappy 1.1.1.2) 来解压缩结果文件夹中的文件（这个文件是从这个文件夹下载到我的电脑的文件之一）

Maven依赖：

我使用此代码解压缩：

但是:(我立即收到此错误：

在火花集群中，我们使用：

spark 1.1.0 && hadoop 2.5.1（带有原生 hadoop snappy）

这是我运行hadoop checknative -a时的结果：

我从链接下载并构建了 snappy native：

https://code.google.com/p/snappy/ 和来源： https ://drive.google.com/file/d/0B0xs9kK-b5nMOWIxWGJhMXd6aGs/edit?usp=sharing

有人请解释这个奇怪的错误！hadoop使用本机snappy压缩数据时是否有一些差异使用java-snappy??????

iWork 2013 文件格式包括存储在 .zip 文件中的 .iwa（iWork 存档）文件。“IWA 文件以 Snappy 的帧格式存储，尽管它们不严格遵守规范。特别是，它们不包括所需的流标识符块，并且压缩块不包括 CRC-32C 校验和。” https://github.com/obriensp/iWorkFileFormat/blob/master/Docs/index.md#iwa

是否有 Snappy 的实现可以解压缩缺少这些组件的文件？如果是这样，是否有示例代码？

iWork 文件示例可在此页面底部找到：http: //fileformats.archiveteam.org/wiki/IWA。例如，解压缩文件 TestReport.pages.zip 显示它包含 Index.zip，其中包含 .iwa 文件。

我在这里尝试使用 Snappy for Windows 命令行工具解压缩 .iwa 文件：http: //snappy.angeloflogic.com/downloads/。但是，我收到错误消息：“解码时发现无效数据。”

我还没有示例代码，因为我不知道我的代码应该基于哪个 Snappy 实现。

我刚刚安装了hadoop snappy，当我尝试使用hadoop fs -text /xxxx/xxx/xx/xx.snappy命令查看snappy 文件的内容时hdfs，它会抛出一个致命错误：

我的系统是 OSX 10.10.1 (14B25)

任何人都可以给我一些帮助来解决这个问题，好吗？