logging - Hadoop 作业中的日志记录如何工作？

Question

登录 Hadoop 作业如何工作？使用 SLF4J 和 Logback，我需要什么样的配置才能在一个地方查看所有日志输出？JobTracker 是否会整理 Hadoop 作业的 STDOUT？

Answer 1

每个数据节点上的日志目录都包含一个子目录userlogs。这包含最近地图任务尝试的子目录。这是针对地图任务的每个实例。由于任务尝试在其名称中包含作业 ID，因此您可以找出特定作业创建的日志。

任务尝试目录包含以下文件：

• 标准错误
• 标准输出
• 系统日志

这些包含各自的输出。

您可以从 JobTracker Web-GUI 访问任务日志，方法是从列出的 Job 导航到其任务，单击任务并选择其输出。