python - 使用 Hadoop Streaming Python 的 SequenceFile 格式

Question

从 0.21 开始， Hadoop 是否正式支持二进制格式的流式传输？

hadoop-streaming.jar接受一个inputFormatJava 类名。您如何为这个 Java 类提供 Hadoop 流式作业？除了使用 inputFormat、outputFormat 参数执行hadoop-streaming.jar之外，还必须做什么才能运行具有 SequenceFile 输入/输出格式的 Python 流作业？

Answer 1

它看起来像一些泥泞的文档。

尝试阅读这些答案

如何将 Hadoop Streaming 与 LZO 压缩的序列文件一起使用？

Python从HDFS读取文件作为流

并且不用担心 Sequencefile。这不值得。