-1

我在 Hadoop 中配置了一个作业，并在我的代码中将 map 任务的数量设置为 8。但是当我运行该作业时，将启动 152 个 map 任务。

我不明白为什么我的配置被覆盖以及数字 152 的来源。

供您参考：在我的 mapred-site.xml 中，“mapred.map.tasks”的值为 24。

有人有想法吗？

4

1 回答 1

1

Hadoop 在拆分数据时设置了最小映射任务数。您不能将最大值设置为低于最小值。

来自 Hadoop 维基：

地图任务的数量也可以使用 JobConf 的 conf.setNumMapTasks(int num) 手动增加。这可用于增加 map 任务的数量，但不会设置低于 Hadoop 通过拆分输入数据确定的数量。

来源：http ://wiki.apache.org/hadoop/HowManyMapsAndReduces

于 2012-08-22T17:23:35.673 回答