Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我正在尝试在 MapReduce 中试验这个参数,但我有一些问题。
这是否与 HDFS 中的大小有关(无论是否压缩)?还是解压后的?我猜是前者,但只是想确认一下。
仅当您的输入格式支持拆分输入文件时才使用此参数。常见的压缩编解码器(如 gzip)不支持拆分文件,因此将被忽略。
如果输入格式确实支持拆分,那么这与压缩大小有关。
从 Hadoop 0.21 开始,我认为 bz2 文件是可拆分的。所以你可以使用bz2。