hadoop - Partitioner 类中的参数 numPartitions

Question

大师！

任何人都可以回答：Partitioner 类中的参数 numPartitions 在哪里定义（这个参数的值）？

Answer 1

这是为您的 Map Reduce 作业定义的 reducer 的数量

Answer 2

你是这个意思吗？分区类中的 numPartition。我只是在那里使用搜索。

* @param numPartitions the total number of partitions. (as integer)
* [...] The total number of partitions 
* is the same as the number of reduce tasks for the job. 

Answer 3

在 Driver 类中，您将提到该工作所需的减速器数量。该计数称为 numPartion 计数。像：

job.setNumReduceTasks(4);