问题标签 [snappy]

我一直在尝试在 Java 框架之外为 Hadoop 生成序列文件，具体来说是 Python。有一个 python-hadoop 模块，它提供了最相似的框架来做到这一点。我已经使用它成功创建了序列文件；生成的序列文件可以复制到 HDF 并用作 Hadoop 作业的输入。LZO 和 Snappy 在我的本地 Hadoop 安装上完全配置，当我通过 Java 上的 org.apache.hadoop.io.SequenceFile.createWriter 生成正确的压缩序列文件时，我可以使用这些算法生成适当的压缩序列文件。

但是，当我尝试 LZO 或 Snappy 作为 python-hadoop 上的（块）压缩方案时，似乎没有生成有效的序列文件。我正在使用与此代码类似的方案：

https://github.com/fenriswolf/python-hadoop/blob/master/python-hadoop/hadoop/io/compress/LzoCodec.py

（我将 lzo 替换为 snappy 以进行 Snappy 压缩），并且在 python-hadoop 框架内，可以毫无错误地写入和读取这些文件。但是，在 Hadoop 上，当我将它们作为 Hadoop 输入提供时，会出现 EOF 错误：

仅当我使用 LZO 或 Snappy 时，我才始终看到此特定消息。

我怀疑 Hadoop 中的 LzoCodec 和 SnappyCodec 生成或读取的方式与 Python 在 lzo 和 snappy 中的实现方式不同，但我不确定它们应该是什么。

是否有任何原因导致在 Java Hadoop 框架之外无法正确生成具有这些压缩方案的序列文件？同样，只要我使用 Gzip、BZip2 或 Default，整个事情就可以正常工作。

我正在尝试创建一个使用 Netty 的 SnappyFrameEncoder/Decoder 的简单程序。我创建了一个使用 LocalChannels 作为服务器/客户端的小型 Java 应用程序。

客户端使用 Snappy 对字符串进行编码，服务器对字符串进行解码并将其写入控制台。

我不断收到 StackOverFlow 异常，即使我将其拆分为单独的客户端/服务器程序。

如果我从管道中注释掉 SnappyFramedDecoder 和 SnappyFramedEncoder，它会正常运行并输出我的测试消息。

我尝试了很长的测试消息，但它仍然给了我一个 StackOverFlow 异常。

谁能帮帮我？我是 Netty 的新手。谢谢！！

我正在使用 Netty 4.0.0.CR2

这是我的代码：

我以 Snappy 压缩格式将文件存储在 HDFS 上。我希望能够在我的本地 Linux 文件系统上检查这些文件，以确保创建它们的 Hadoop 进程已正确执行。

当我将它们复制到本地并尝试使用 Google 标准库解压缩它们时，它告诉我该文件缺少 Snappy 标识符。当我尝试通过插入一个 Snappy 标识符来解决这个问题时，它会弄乱校验和。

我可以做些什么来读取这些文件而不必编写单独的 Hadoop 程序或通过 Hive 之类的东西传递它？

我正在使用 Ubuntu-12.04,Hadoop-1.0.2,Hive-0.10.0 从 hive 读取大约 100 万条记录的数据时出现以下错误以进行查询

所以我在 $HADOOP_HOME/lib 文件夹中安装了 Snappy for Hadoop，它会生成文件 libsnappy.a、libsnappy.la、libsnappy.so、libsnappy.so.1、libsnappy.so.1.1.4

还在 $HADOOP_HOME/lib/ 中添加 hadoop-lzo-0.4.3.jar 并在 cor-site.xml,mapred-site.xml 中进行如下更改

核心站点.xml：-

mapred-site.xml :-

但是当我开始 hive & do 时show databases，会出现错误：-

在处理已知问题时，我发现了用于 Snappy 压缩的本机库 snappy-1.0.4.1-libsnappyjava.so 包含在 snappy-java-1.0.4.1.jar 文件中。当 JVM 初始化 JAR 时，该库被添加到默认临时目录。如果使用 noexec 选项挂载默认临时目录，则会导致上述异常。

我在 cassandra.in.sh 中添加了 JVM_OPTS=-Dorg.xerial.snappy.tempdir=/tmp ，但它仍然不起作用。我也尝试直接指定临时目录

在同一台机器上 cassandra 版本 1.0.12 工作正常。

任何帮助将不胜感激。

尝试从最新的稳定版本在 linux 上安装 cassandra - http://cassandra.apache.org/download/ - 1.2.6

我已将 cassndra.yaml 修改为指向自定义目录而不是 /var，因为我对 /var 没有写访问权限

我在启动时看到此错误。由于该版本似乎相对较新，因此无法在谷歌上找到任何答案。只是把它贴在这里，以防我这边犯了一个愚蠢的错误。

相同的分发文件在我的 macos x86_64 机器上运行良好。

请提出可能是什么问题。当我发现任何新内容时，我还将在此页面上添加更多发现。

看了这个这么线程 - cassandra 1.2 无法在 freebsd 中初始化 snappy

但是仍然看到问题。

我试过设置

但是仍然在日志中看到相同的错误。

我在 Mac OSX 中工作。我在尝试运行在 hadoop 集群上使用 Avro 文件的 hadoop 作业时遇到以下异常。我使用 Java 1.6，我使用的 Snappy 版本是 1.0.4.1，这不是最后一个，但我无法更改它，因为其他部分可能会发生其他问题。

堆栈跟踪如下：

在 hadoop/hbase 集群中设置 Snappy 时遇到以下问题。我已将 libnappy.so、libhadoop.so 复制到 $HBASE_HOME_DIR/lib/native/Linux-amd64-64。知道这里出了什么问题..

我需要使用snappy从客户端压缩数据（javascript 代码），发送到服务器端，从服务器端接收数据并在客户端解压缩（javascript 代码）。

关注 1：这个答案不欣赏本机 javascript 实现。我该怎么办？

关注2：如果有人可以提供一些关于如何去做的指示或关于相同的参考，我将不胜感激。

如果 snappy 算法获得新版本或错误修复，这意味着什么 - 我是否必须维持更新客户端实现的开销？有什么建议么... ？

I've setup a Hadoop cluster using the newly 2.x version. And I installed snappy and hadoop snappy according to this guide, to enable snappy compression in map output.

When running the example wordcount, The error occurred:

I searched google about the error message "Error: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z", haven't find the solution to this problem. So I want to know how can I enable snappy compression in Hadoop 2.x? Thanks.