hadoop - 所有地图任务达到100%，但仍处于运行状态

Question

在我使用 HFileOutputFormat 进行批量加载的 MR 工作中，产生了 87 个地图任务，并且在大约 20 分钟内所有任务都达到了 100%。然而，在 hadoop 管理页面中，单个任务状态仍处于“运行”状态，并且没有一个移动到已完成状态。reducer 始终处于挂起状态，永远不会启动。我只是等了，但在 30 分钟超时后它出错了。

我的工作必须加载大约 150 多列。我尝试使用更少的列运行相同的 MR 作业，并且很容易完成。知道为什么地图任务即使在达到 100% 后也没有移动到完成状态？

Answer 1

一个可能的原因是发出的输出数据会很大。对其进行排序，将其写回磁盘将是一件耗时的事情。通常情况并非如此。检查日志并寻找改进 map-reduce 代码的方法甚至是明智的。