hadoop - mapred.min.split.size

Question

我正在尝试在 MapReduce 中试验这个参数，但我有一些问题。

这是否与 HDFS 中的大小有关（无论是否压缩）？还是解压后的？我猜是前者，但只是想确认一下。

Answer 1

仅当您的输入格式支持拆分输入文件时才使用此参数。常见的压缩编解码器（如 gzip）不支持拆分文件，因此将被忽略。

如果输入格式确实支持拆分，那么这与压缩大小有关。

Answer 2

从 Hadoop 0.21 开始，我认为 bz2 文件是可拆分的。所以你可以使用bz2。