hadoop - 如何调试挂起的 hadoop map-reduce 作业

Question

我运行 MR 作业，Map Phase 运行成功，但 Reduce Phase 的运行率为 33% 并挂起（挂起约 1 小时）状态：“reduce > sort”我如何调试它？

Answer 1

这可能与您的情况无关，但是当 IPTABLES (~firewall) 在一个节点上被错误配置时，我就发生了这种情况。当该节点被分配一个 reducer 角色时，reduce 阶段将挂起 33%。检查错误日志以确保连接正常工作，特别是如果您最近添加了新节点和/或手动配置了它们。