0

我设置了以下标志,以便为我的 MR 作业触发推测执行。有一些糟糕的硬件导致作业运行时间很长(8-9 小时而不是常规的 1.5-3 小时),理想情况下,当我们推测硬件问题不应影响 Hadoop MR 作业的运行时间。映射器工作正常并触发推测,但在减速器上从未触发过推测(即使是那些运行 8 小时的)。在这种情况下的任何帮助都将非常有价值。

参数值的来源:http: //docs.qubole.com/en/latest/user-guide/hadoop/hadoop1/speculation.html

 mapred.speculative.reduce.lag=120000
 mapreduce.reduce.speculative=true
 mapreduce.job.speculative.stddevmeanratio.max=0.8
 mapred.speculative.reduce.duration=300 
 mapred.reduce.tasks.speculation.unfinished.threshold=0.001 
4

0 回答 0