0

使用streaming，我将数量设置map为200，如下所示：

-D mapred.map.tasks=200 -D mapred.job.map.capacity=200

但后来我发现正在运行的 mapper数量只有9 个，还有500+ 个 mapper 任务待处理。这对我来说看起来很奇怪，因为我认为应该200运行，对吧？为什么只有 9 个运行？

4

1 回答 1

0

映射器的数量实际上由您使用的 Inputformat 控制。

输入文件根据格式进行拆分，每个拆分都会生成一个映射。

更多信息可以在 Apache Wiki 上找到

于 2013-04-16T13:33:53.177 回答