hadoop - HDFS的分裂逻辑？

Question

FileInputFormat 类的 isSplittable() 方法有什么意义？ http://hadoop.apache.org/docs/r2.2.0/api/index.html

Answer 1

当 isSplitable 返回 false 时，只有一个映射器处理整个文件。

您可以根据需要提供自己的 FileInputFormat 实现并为 isSplitable 返回 true/false。

Answer 2

如果文件像 tar.gz 或 zip 文件一样被流压缩，并且当您的记录具有可变数量的行时；同一记录的一部分可能会落在一个块中，而记录的其余部分可能会落在另一个块中。因此，为读取记录而编写的程序可能会崩溃。

因此，在这样的场景中，可以将 isSplittable() 设置为 false。