java - Hadoop Map/Reduce Mapper 'map' 方法和日志

Question

我最近被要求研究加速 mapreduce 项目。我正在尝试查看在实现的类的“map”方法中生成的 log4j 日志信息：org.apache.hadoop.mapred.Mapper

在这个类中有以下方法：

@Override
public void configure( .. ) { .. }

public static void doCompileAndAdd( .. ) { .. }

public void map( .. ) { .. }

日志信息可用于配置方法和doCompileAndAdd方法（从配置方法调用）；但是，“map”方法没有显示任何日志信息。

我也尝试过System.out.println( .. )在 map 方法中简单地使用但没有成功。

有没有人可以帮助阐明这个问题？

谢谢，特拉克斯

Answer 1

由于映射器类实际上在分布在集群中节点的任务中运行，因此这些任务的标准输出出现在每个任务的单独日志中。查看这些日志的最简单方法是转到集群的作业跟踪器页面，通常位于http://namenode:50030/jobtracker.jsp. 从那里您可以选择作业，然后选择您对日志感兴趣的映射任务。