我有一个使用 HFileOutputFormat 加载 HBase 表的批量加载作业。我的映射器在 2-3 分钟内完成,然后减速器(由 HFileOutputFomat 调用的 PutSortReducer)在接下来的 2 分钟内完成直到 92%,但大约需要 9 分钟才能完成剩余的 8%
在我的工作中总共产生了 10 个 reduce 任务,其中总是有 8 或 9 个任务在 2-3 分钟内完成,其余的 1 或 2 个任务则需要 9 分钟。而这最后一两个任务通常是重新启动的任务,而不是失败的任务。日志没有显示任何明显的错误作为任务失败的原因