4

我用 Yarn 下载了 Hadoop 的 CDH4 tar，作业运行良好，但我不知道在哪里查看我的作业中的日志。在 MRv1 中，我只需访问 JobTracker 网络应用程序，它就有工作历史记录。也可以从这里访问单个作业的日志，或者通过转到 logs/userlogs 目录。

在我的新 Yarn 设置中（仅在单台计算机上运行），我有日志目录，但没有日志/用户日志文件夹。

当我转到 ResourceManager 网页 localhost:8088 时，有一个“所有应用程序”部分，但这里没有显示条目。当我转到 JobHistory 网页 localhost:19888 时，没有列出任何工作。

我想知道是否存在配置问题。这是我的 yarn-site.xml 条目：

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

非常感谢有关调试内容的任何提示。

更新：我检查了 nodemanager 日志目录，它是空的。此外，jobhistory 目录是空的。一件奇怪的事情是 Hadoop 告诉我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/但是当我从浏览器尝试时，该地址不可用。

更新 #2：我注意到我运行的每个作业都有相同的作业 ID（“job_local_0001”）。这似乎是某个地方的配置问题。

4

2 回答 2

7

听起来这里的工作是在本地运行，而不是在 YARN 上。要在 YARN 上运行作业，请确保您的 mapred-site.xml 中有此内容：

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

一般来说，您可能会通过向 cdh-user 邮件列表发送电子邮件来更快地回答此类问题。

于 2013-03-16T19:35:44.370 回答
2

将以下配置添加到 mapred-site.xml 文件中

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>

并删除您在 yarn-site.xml 中放入的 jobhistory 特定配置，例如。以上来自 yarn-site.xml 的最后两个配置

于 2014-05-30T04:18:03.220 回答