java - hadoop中输入拆分的自定义输入格式

Question

我是否能够将全部input split输入映射器而不是将每一行输入拆分为映射器。

为此，我需要实现自己的自定义输入格式。但如果我在写WholeFileInputFormat

这是否意味着映射器获得整行或整个输入拆分？

NLineInputFormat能解决我的问题吗？

Answer 1

我不会打扰NLineInputFormat。您可能并不总是知道N是什么，并且您不需要读取每个文件的输入格式的开销来查找行字节偏移量。

WholeFileInputFormatfrom here（我假设您引用的内容）会将整个文件作为值传递给方法map。