问题标签 [snappy]

我正在使用 Spark 1.2.0 的 CDH4 构建来提交使用sbt assembly.

spark shell 和 spark submit 都失败并出现以下错误。

虽然我在 build.sbt 中包含了 snappy 作为依赖项，如下所示，它也被下载了。

请提出建议，有什么问题和适当的解决方案。

这是火花提交命令

./spark-submit --class org.cmls.SparkExamples.Spark_First /home/varun/SPARK/spark-1.2.0/assembly/target/scala-2.11/my-project-assembly.jar

在我的应用程序中，我们使用 Kafka 高级消费者，如果生产者和消费者使用 java API 压缩和解压缩数据，它会毫无问题地消费解压缩的数据。

如果生产者使用librdkafka C++ API 进行压缩（snappy 或 GZIP）会发生什么？java 消费者是否能够像上面提到的那样透明地解压缩。消费者端的 fetch size 会发生什么？这是否也透明地处理。

如果使用简单的消费者模型设计 kafka 消费者会发生什么？我们是否必须显式解压缩来自生产者的压缩数据（假设此处使用librdkafka C++ API）。

我在想，如果生产者端的librdkafka C++ API 发生压缩，高级消费者可能无法工作？如果我在这里错了，请清除我，因为我在这里看到了一些其他帖子Kafka 消息编解码器 - 压缩和解压缩。与此相反，我发现另一个链接说，如果高级消费者使用http://grokbase.com/t/kafka/users/142veppeyv/unable-to-consume-snappy-compressed-messages-with-simple ，解压缩应该可以工作-消费者。

谢谢

我无法在虚拟环境中安装 python snappy 的库。这是错误：

我正在尝试测试文本是否通过 Snappy 压缩。我正在使用 Node.JS https://github.com/kesla/node-snappy库。

归功于此答案以获取有关从文件读取的帮助。

这是我得到的：

该Assertion failed...部分发生了什么？

i am using following code for compression

using snappy algorithm. but while compressing an input file with some mb of data ( 70 to 100 mb) it compresses data with file size which is more than the input file and if i try it with input directory containing all types of file like(.jpg, .mp3, .mp4 etc..) with size 100 to 150 mb, it displays error as :

As i am trying to compress and decompress data using snappy algorithm, please here suggest me , how do i compress data using sanppy algorithm with less space.

i am using

Ubuntu 13.10, 32 bit Jdk 7 32 bit. with hadoop-2.2.0

当我将 snappy 文件读取HDFS到mapreduce.

我已经开始 job.setInputFormatClass(TextInputFormat.class); 工作了。

然后我像这样在映射器中获取线值

protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { String[] strs = new String(value.getBytes()).split(String.valueOf(0x09)); LOGGER.info("strs length is " + strs.length); }

如果数据正确，strs 长度为 44。但我在 userlogs 中发现很多错误长度（大于 44）。

然后我打印值new String(value.getBytes)。我发现打印的字符串不是我的预期。行数据不是我保存到 HDFS 的字符串。

数据顺序错误，导致mapper中的值错误。

我能做些什么来解决这个问题。

谢谢！

我们可以在不使用自定义输入类的情况下使用 snappy 文件作为 Map reduce 应用程序的输入文件吗？

我无法找到有关此的任何信息。

问候，尼什

目前我们正在 Hadoop 中运行 MapReduce 作业，其中输出被压缩为 SnappyCompression。然后我们将输出文件移动到 S3。现在我想通过 Java 从 S3 读取压缩文件。

我正在阅读Snappy Compressed file来自本地的java.

我的代码在 ReflectionUtils.newInstance 出现异常

是不是因为版本不匹配的问题。我正在使用snappy 1.1.1.2版本

我正在尝试通过 Brew 安装 snappy，但出现此错误：

什么都没有https://snappy.googlecode.com/files/snappy-1.1.1.tar.gz。如何让 brew 指向正确的位置以及如何找到该位置？

谢谢