1

经过 36 小时的工作 Hadoop 1.0.3 说：

INFO mapred.JobClient:  map 42% reduce 0%
     mapred.JobClient: Job Failed: # of failed Map Tasks exceeded allowed limit. FailedCount: 1. 
     java.io.IOException: Job failed!
at org.apache.hadoop.mapred.JobClient.runJob(JobClient.java:1265)

并停了下来。

是否可以不从一开始就重新启动 Hadoop 作业（地图 0% 减少 0%）？

4

1 回答 1

2

似乎没有重新启动失败作业的好方法。要记住几件事：

  1. 看起来像您在 mapred 配置中的 [mapreduce.map.maxattempts=1]，默认值通常为 4

    mapred.JobClient: Job Failed: # of failed Map Tasks 
exceeded allowed limit. FailedCount: 1.

  2. 您通常想了解它失败的原因。（不确定您是否发现了问题）

它可能由于虚假原因而失败，您可以通过提供故障陷阱将此异常实现到您的 mapreduce 程序中。您可以使用 Hadoop API 实现相同的概念。

在此处查看此答案：https ://stackoverflow.com/a/9742235/1515370

于 2013-04-25T18:15:35.393 回答