问题标签 [snappy]

我有一个 POJO，需要发送到另一个端点（某些服务器）。我已经决定使用avro来做到这一点。

到目前为止，我已经创建了我的Avro架构并生成了我的 DataFileWriter：

这是我到目前为止所拥有的，我缺少以下内容：

我想在发送之前压缩数据，我宁愿使用snappy，我应该如何将它与我的代码结合起来？

更新： 添加了这些行：

但我还不确定它是否能完成这项工作。

我正在尝试将与 CDH 捆绑在一起的 Grep 示例来读取序列/Snappy 文件。

默认情况下，程序在尝试读取 Sequence/Snappy 文件时会抛出错误：

java.io.EOFException：在 org.apache.hadoop.io.compress.BlockDecompressorStream.decompress(BlockDecompressorStream)的 org.apache.hadoop.io.compress.BlockDecompressorStream.getCompressedData (BlockDecompressorStream.java:121) 输入流中的块意外结束.java:95)
在 org.apache.hadoop.io.compress.DecompressorStream.read(DecompressorStream.java:83)
在 java.io.InputStream.read(InputStream.java:82)

所以我编辑了代码来读取序列文件。

改变：

至：

但我仍然得到同样的错误。

1）我需要手动设置输入压缩编解码器吗？我认为 SequenceFile 阅读器会自动检测压缩。
2）如果我需要手动设置压缩，我是使用“setInputFormatClass”还是我在“conf”对象中设置的东西？

我想知道 JavaSnappyFramedInputStream和之间的实现/性能差异SnappyInputStream，以及它们各自的最佳使用场景。（对于他们的OutputStream同行也是如此）。

提前致谢！

Our hadoop cluster using snappy as default codec. Hadoop job reduce output file name is like part-r-00000.snappy. JSnappy fails to decompress the file bcz JSnappy requires the file start with SNZ. The reduce output file start with some bytes 0 somehow.

How could I decompress the file?

在我的 java web 应用程序中，我正在向kafka发送消息。

我想在发送之前压缩我的消息，所以我在我的生产者属性中设置：

props.put("compression.codec", "2");

据我了解，“2”代表 snappy，但是在发送消息时，我得到：

为了解决它，我尝试向我的 pom 添加 snappy 依赖项：

并将 jar 添加到 /lib/ext 下的码头服务器，但仍然出现此错误。

如果我在“compression.codec”属性中设置“0”而不是“2”，我不会得到异常，如预期的那样。

我应该怎么做才能使用 snappy 压缩？

这是我的活泼版本（我应该使用不同的版本吗？）：1.1.0.1

我在 Ubuntu 12.10 上运行的 jetty 8.1.9 上部署我的应用程序。

在 snappy 的内部，有一个条件编译部分选择取消引用 reinterpret_cast'ed指针作为在已知支持此类操作的架构上读取和写入可能未对齐的 16、32 和 64 位整数的最佳实现（如x86)。其他架构的后备方案是使用基于memcpy 的实现。

我的理解是 reinterpret_cast 实现表现出未定义的行为，而 clang 的未定义行为清理程序确实会标记它。

令我困惑的是：为什么不直接使用基于 memcpy 的实现呢？我希望除了最坏的编译器之外的所有编译器都使用内部函数来实现这些 memcpy 调用，因为在编译时大小是已知的。事实上，我希望任何现代工具链上的两种实现都具有相同的代码生成。

但是，我也认识到 snappy 是由了解它们的人编写的。所以这让我想知道使用 reinterpret_cast 机制是否还有一些优势，而不是其未定义的行为。不希望性能依赖于编译器的实现质量？还有什么我没有考虑过的？

我正在尝试在 Hadoop 2.2.0 中启用 Hadoop 本机库和 snappy 库进行压缩，但我总是得到：

我hadoop-2.2.0-src从头开始为 x64 编译并将结果.so放入hadoop/lib/native/. 我还从头开始编译 snappy 并将其放在那里。在另一种方法中，我安装了 snappy viasudo apt-get然后将结果链接.so到hadoop/lib/native/libsnappy.so，仍然没有运气。

这里发生了什么？为什么 Hadoop 找不到我的本机库？是否有任何日志可以检查加载过程中出了什么问题？

我在使用带有 snappy 的 wkhtmltopdf 时遇到问题。我已经在 mac osx 上安装了 wkhtmltopdf 和 homebrew。

我使用此代码在浏览器中显示 PDF：

该脚本不会在浏览器中显示 PDF，而是打开终端。在我点击终端后，它开始下载file.pdf. 显示file.pdf正确的 github 页面。

我做错了什么？以及管理脚本在多个系统（debian、windows、..）上运行的 wkhtmltopdf 二进制路径的最佳解决方案是什么。

编辑：

哦，对不起..我改为attachment浏览inline器显示PDF。但我必须先点击终端..

我像一个痣一样用谷歌搜索，但找不到正确的方法。

我正在使用 WKHTMLTOPDF Wrapper Snappy 创建 PDF。

如何将使用 generateFromHtml 方法生成的 pdf 直接发送到浏览器？这就是我想要做的：

我正在尝试从 map-reduce 作业中编写一个快速的块压缩序列文件。我正在使用 hadoop 2.0.0-cdh4.5.0 和 snappy-java 1.0.4.1

这是我的代码：

当我运行它时，我得到了这个：

如果我注释掉这些行，那么我的测试通过：

但是，我真的很想在我的序列文件中使用 snappy 压缩。有人可以向我解释我做错了什么吗？