hadoop - WholeFileInputFormat 与多个文件输入

Question

我如何使用 WholeFileInputFormat 与许多文件作为输入？多个文件作为一个文件... FileInputFormat.addInputPaths(job, String ...); 似乎无法正常工作

Answer 1

您需要将 InputFormat 中的“isSplittable”设置为“false”，以便输入文件不会被拆分并仅由 1 个映射器处理。不过，有一个小建议，您可以尝试使用 Sequence File。将您尝试处理的多个文件组合成一个序列文件，然后对其进行处理。由于序列文件已经采用键/值形式，因此效率更高。