我有一个 hadoop 作业，我试图在 8 节点 Windows HDP 集群上运行。该作业有超过 137000 个输入，它在大约 3.5 小时内处理了 84% 到 92% 的地图任务。然后 reducer 在 0% 处重新启动，并且 map 任务重新运行。工作永远不会完成。
我的问题是，reducer 从 dfs 读取 map 输出或块是否有超时导致 reducer 重新启动？或者，如果减速器达到某种限制，它会产生一条错误消息，帮助我确定原因。我的第一个障碍是默认队列只允许 100000 个任务，但作业出错，并显示这样的消息。
我正在使用的 hadoop 版本是您使用 Microsoft HDInsight 获得的版本。它似乎是 windows 的 hadoop 1.1.0 快照（Hortonworks Data Platform 1.0.1 Developer Preview for Windows）。我设置属性为客户端任务提供 8000mb 的内存。由于 jobtracker 是从 Windows 服务启动的，因此我无法确定 VM 实际启动时使用了多少内存。