1

运行一个 hadoop 作业,我将我的地图设置为 100,并将我的 reduce 设置为 1(我并没有真正减少任何东西)。

conf.setNumMapTasks(100);
conf.setNumReduceTasks(1);

作业运行后,我查看了 hadoop 日志,发现使用了一个 reduce 任务并使用了零 (0) 个 map 任务。现在我有两个问题:

1)即使我的工作很小,地图任务的数量不应该至少是一个吗?

2)有没有办法强制hadoop运行指定数量的map任务?我已经知道这conf.setNumMapTasks(100)只是一个提示。但是还有其他方法吗?

4

0 回答 0