9

问题：当我向我的 hadoop 2.2.0 集群提交作业时，它没有显示在作业跟踪器中，但作业成功完成。通过这个我可以看到输出并且它运行正确并在运行时打印输出。

我尝试了多个选项，但工作跟踪器没有看到工作。如果我使用 2.2.0 hadoop 运行流式作业，它会显示在任务跟踪器中，但是当我通过 hadoop-client api 提交它时，它不会显示在作业跟踪器中。我正在查看端口 8088 上的 ui 界面以验证作业

环境 OSX Mavericks、Java 1.6、Hadoop 2.2.0 单节点集群、Tomcat 7.0.47

代码

    try {
        configuration.set("fs.defaultFS", "hdfs://127.0.0.1:9000");
        configuration.set("mapred.jobtracker.address", "localhost:9001");

        Job job = createJob(configuration);
        job.waitForCompletion(true);
    } catch (Exception e) {
        logger.log(Level.SEVERE, "Unable to execute job", e);
    }

    return null;

等/hadoop/mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

    <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
    </property> 
</configuration>

等/hadoop/core-site.xml

<configuration>
     <property>
       <name>hadoop.tmp.dir</name>
       <value>/tmp/hadoop-${user.name}</value>
       <description>A base for other temporary directories.</description>
    </property>

    <property> 
      <name>fs.default.name</name> 
      <value>hdfs://localhost:9000</value> 
    </property>

</configuration>
4

2 回答 2

6

该问题的解决方案是使用纱线的额外配置选项来配置作业。我错误地假设 java hadoop-client api 将使用配置目录中的配置选项。我能够通过使用 log4j.properties 为我的单元测试打开详细日志记录来诊断问题。它表明作业在本地运行，并且没有提交给纱线资源管理器。通过一些试验和错误，我能够配置作业并将其提交给纱线资源管理器。

代码

    try {
        configuration.set("fs.defaultFS", "hdfs://127.0.0.1:9000");
        configuration.set("mapreduce.jobtracker.address", "localhost:54311");
        configuration.set("mapreduce.framework.name", "yarn");
        configuration.set("yarn.resourcemanager.address", "localhost:8032");

        Job job = createJob(configuration);
        job.waitForCompletion(true);
    } catch (Exception e) {
        logger.log(Level.SEVERE, "Unable to execute job", e);
    }
于 2014-01-25T20:00:20.147 回答
4

我看到您使用的是 Hadoop 2.2.0。您使用的是 MRv1 还是 MRv2？MRv2 (YARN) 的守护进程不同。MRv2 没有 JobTracker，但您可能会看到 JobTracker UI 的占位符页面。

ResourceManager Web UI 应该显示您提交的作业。ResourceManager 的默认 Web URL 是 http://< ResourcemanagerHost >:8088

将 ResourceManagerHost 替换为运行资源管理器的节点的 IP 地址。

您可以在Apache Hadoop YARN阅读有关 YARN 架构的更多信息

于 2014-01-25T09:47:17.870 回答