2

我一直在尝试在任务级别设置 Hadoop 日志记录，但到目前为止没有成功。

我已修改 log4j.properties 并将许多参数设置为 DEBUG 级别：

  • log4j.logger.org.apache.hadoop.mapred.Task=DEBUG
  • log4j.logger.org.apache.hadoop.mapred.MapTask=DEBUG
  • log4j.logger.org.apache.hadoop.mapred.ReduceTask=DEBUG
  • log4j.logger.org.apache.hadoop = 调试

但是，我从正在记录的任务中看不到任何 LOG.info 或 LOG.debug 消息。这是启用了 Yarn。

我不确定我在配置中遗漏了什么以使其正常工作。我想我最终应该在 nodemanage.out 日志文件中得到这些消息吗？

4

1 回答 1

0

您应该能够从 Yarn 控制台看到您的应用程序日志消息，但到达那里的路径有几个步骤。

1.) 转到 Yarn 控制台，通常是http://yourserver:8088 2.) 转到 Tools->Local Logs 3.) 找到“userlogs”链接并选择它 4.) 找到您的应用程序，例如 MapReduce 作业使用“应用程序”前缀而不是“工作”前缀命名并选择它。5.) 然后在容器日志通常是“syslog”下，您应该找到您的作业级别日志记录。

完整的示例路径如下。 http://yourserver:8088/logs/userlogs/application_1427820474064_0003/container_1427820474064_0003_01_000019/syslog

于 2015-03-31T23:50:56.177 回答