configuration - 我可以强制我的减速器（复制阶段）仅在所有映射器完成后启动吗

Question

我有一个映射阶段很长的 hadoop 作业，我希望其他短作业优先运行。为此，我使用 hadoop job -set-priority job_id LOW 设置了我长期工作的优先级。

问题是，对于我的长期工作，即使我只完成了 30% 的 map 任务，reducers 的复制阶段也会开始。

然后我的网格有点阻塞，因为所有减少插槽都被 LOW 优先级作业占用。其他小工作可以完成他们的地图阶段，但在我的长期工作完成之前，他们永远不会得到任何减速器。

任何的想法？谢谢。J。

Answer 1

我找到了自己问题的答案：有一个工作 conf 参数可以完成这项工作：

mapred.reduce.slowstart.completed.maps=0.90

reduce 任务仅在完成 ​​90% 的映射时才开始。默认值为 0.05。