hadoop - 跳过失败的地图作业

Question

有没有办法跳过单个失败的地图作业而不是杀死整个作业？我有数千个地图作业都运行良好，总是有这个烦人的最后一个地图作业需要永远并最终杀死这项大工作。

有没有办法设置像“失败时忽略”这样的一般设置或可以忽略的地图百分比？

我不是在寻找 100% 数据的完美结果，一个 95% 的良好估计就足够了。

Answer 1

您可以使用 mapred.max.map.failures.percent(mapreduce.map.failures.maxpercent in new version 2.1.0) 和 mapred.max.reduce.failures.percent 属性来控制您的作业失败

http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html