streaming - Hadoop流最大行长

Question

我正在为 Amazon Elastic Map Reduce 开发 Hadoop 流式工作流，它涉及序列化一些二进制对象并将它们流式传输到 Hadoop。Hadoop 是否有流输入的最大行长？

我开始用越来越大的线进行测试，但我想我会先在这里问。

Answer 1

似乎对行长没有强加限制。自从提出这个问题以来，我一直在编写序列化二进制对象的代码，将它们编码为 base64，然后将它们放入流中进行处理。结果，有些行很长。Hadoop 无怨无悔地咀嚼着。