hadoop - 如何从映射器或减速器中获取 Hadoop 任务跟踪器信息

Question

您的 Mapper 和 Reducer 类始终在特定的任务跟踪器上运行。但是我如何获得关于任务跟踪器的信息？唯一传入该setup方法的是TaskInputOutputContext。您可以获得任务尝试 ID，但如何将其映射到 TaskTracker 对象？（例如，获取主机名、相应的作业跟踪器等。是的，我知道您可以通过主机名获取主机名，java.net.InetAddress.getLocalHost().getHostName()但这完全在 Hadoop 之外。）

Answer 1

您可以随时访问 MapReduce web-ui 并查看所有这些信息..只需单击您要分析的作业，然后您就可以查看各个 map 和 reduce 任务的几乎所有内容。