6

我正在使用Hadoop2.2. 我看到我的工作圆满完成。我可以浏览文件系统来查找输出。但是，当我浏览时http://NNode:8088/cluster/apps，我无法看到到目前为止已完成的任何应用程序（我运行了 3 个 wordcount 作业，但这里没有看到）。

是否有任何需要考虑的配置？

在此处输入图像描述

这里是yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>NNode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
-->

这里是mapred-site.xml：

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

我也正在运行作业历史服务器：

jps
4422 NameNode
5452 Jps
4695 SecondaryNameNode
4924 ResourceManager
72802 Jps
5369 JobHistoryServer
4

2 回答 2

0

申请完成后，他们的职责可能会转移到Job History Server. 所以检查Job History Server网址。它通常在端口上侦听19888。例如

http://<job_history_server_address>:19888/jobhistory

日志目录和日志保留持续时间可在yarn-site.xml. 使用YARN，甚至可以将日志聚合到单个（可配置）位置。

有时，即使列出了应用程序，日志也不可用（我不确定它是否由于某些错误YARN）。但是，几乎每次我都能使用命令行获取日志：

纱线日志 -applicationId the_application_id

虽然有多种选择。使用帮助获取详细信息：

纱线日志--帮助

于 2015-05-14T19:07:46.763 回答
0

您可以参考Hadoop 没有在作业跟踪器中显示我的作业，即使它正在运行

                    conf.set("fs.defaultFS", "hdfs://master:9000");
                    conf.set("mapreduce.jobtracker.address", "master:54311");
                    conf.set("mapreduce.framework.name", "yarn");
                    conf.set("yarn.resourcemanager.address", "master:8032");

我在我的集​​群中进行了测试。有用！

于 2015-09-11T16:40:51.143 回答