mapreduce - 在 Java Map reduce 中读取 snappy 文件

Question

我们可以在不使用自定义输入类的情况下使用 snappy 文件作为 Map reduce 应用程序的输入文件吗？

我无法找到有关此的任何信息。

问候，尼什

Answer 1

是的，您可以这样做，但您可能必须先解压缩文件才能使用它。

 CompressionCodec codec = (CompressionCodec) ReflectionUtils.newInstance(SnappyCodec.class, new Configuration());

创建编解码器实例后，调用 createInputStream 并传递 hadoop 路径。编解码器.createInputStream