我有一份解析许多网址的工作。如果每个任务处理单个 url，那么如果单个 url 的解析抛出异常，则任务将失败。在常规的 hadoop 行为中，此任务将被重新尝试 3 次，之后该作业将失败。我可以在任务失败的情况下以某种方式进行干预并编写自己的代码来忽略任务吗？
问问题
104 次
1 回答
1
你为什么不捕捉异常？
无论如何，您可以适当地设置maxMapTaskFailuresPercent和maxReduceTaskFailuresPercent。
于 2012-07-08T17:17:32.917 回答