Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
使用streaming,我将数量设置map为200,如下所示:
streaming
map
200
-D mapred.map.tasks=200 -D mapred.job.map.capacity=200
但后来我发现正在运行的 mapper数量只有9 个,还有500+ 个 mapper 任务待处理。这对我来说看起来很奇怪,因为我认为应该200运行,对吧?为什么只有 9 个运行?
映射器的数量实际上由您使用的 Inputformat 控制。
输入文件根据格式进行拆分,每个拆分都会生成一个映射。
更多信息可以在 Apache Wiki 上找到