hadoop - 如何查找在哪个数据节点上运行的地图任务？

Question

我运行了一个有 32 个地图并且没有减少的 hadoop 作业。其中有4个经常失败。我猜他们都在同一个数据节点上运行。我总共有 6 个数据节点。如何找到在哪个数据节点上运行的地图？

Answer 1

转到端口 50030 的 Job Tracker UI，您将找到每个任务的日志，其中显示了该任务（映射任务/减少任务）的运行位置

Answer 2

您可以在浏览器上转到 Namenode 页面。并单击活动节点。您将分别获得每个节点的链接。单击此链接，您将分别获取 map 和 reduce 任务的日志。您可以看到问题所在。