对于 Hadoop 作业，“mapred.reduce.slowstart.completed.maps”的理想值是多少？要遵循哪些规则来适当地设置它？
谢谢！
问问题
5342 次
1 回答
15
这取决于您的工作、集群和利用率的许多特征：
您的工作需要多少地图槽与最大地图容量：如果您的工作会产生 1000 个地图任务，但总共只有 10 个地图槽（说明一点的极端情况），那么尽早启动减速器可能会剥夺过度减少任务的执行。在这种情况下，我会将您的慢启动设置为一个较大的值（0.999 或 1.0）。如果您的映射器需要一段时间才能完成，这也是正确的 - 让其他人使用减速器
如果您的集群负载相对较轻（reducer 插槽没有争用）并且您的映射器输出大量数据，那么慢启动的低值将有助于让您的工作更早完成（而其他映射任务执行，获取移动到减速器的地图输出数据）。
可能还有更多
于 2012-07-06T21:37:12.783 回答