我正在使用两对 MapReduce 作业。第一个 MapReduce 对的输出输入到第二个 MapReduce 对。我对第二个 MapReduce 作业使用的映射器数量有点困惑。我知道这取决于输入拆分,但我的问题是如何确定输入拆分的数量?
假设我使用 4 个减速器,减速器的输出是 part-r-00000 到 part-r-00003。Hadoop 是否会将所有这 4 个分区组合成一个输入文件,然后根据块大小将其划分为输入拆分?
比如说,块大小=64MB
第一个 MapReduce 作业的输出文件大小:
部分-r-00000:20MB,部分-r-00001:30MB,部分-r-00002:50MB,部分-r-00003:28MB
Hadoop 会将所有这 4 个输出文件合并为一个大小为 128MB(20MB+30MB+50MB+28MB=128MB)的文件,然后创建 2 个输入拆分(128MB/64MB)以由两个映射器处理,还是使用 4 个映射器我们有来自第一个减速器的输出的 4 个分区(part-r-00001-part 到 r-00003)?