mapreduce - Hadoop Map Reduce - Reducer 数量

Question

我有一个包含不同年龄段公司员工数据的用例。我需要找到三个年龄组类别的男性和女性员工的最高工资。

有关详细信息，请转到以下链接 -

http://www.myhadoopexamples.com/2014/03/01/hadoop-mapreduce-example-with-partitioner/

我的问题是 - 这里我们只有两个由映射器发出的键，即男性和女性。我们在驱动程序类中设置了 3 个减速器，因此将创建 3 个分区。

可能有以下两件事-

1. 每 3 个分区将运行 3 个减速器，依次找出每个分区中女性和男性的最高工资。并给出如上链接所示的预期结果。

2. 实际运行的只有减速机，一公一母，进行计算。

Answer 1

如果你想知道reducer的真实数量，你最好在集群上运行它。

正如在 map reduce 中的 reducer 数量中所说，它将启动 3 个 reducer，而 1 个 reducer 将不处理任何数据。如果您想使用所有三个 reducer，您可以更改 Partioner 类，例如按年龄组分区数据