4

我在 Spring + Maven + Hadoop 环境中遇到问题。我正在使用 Apache Hadoop，但不要使用 SpringSource 提供的 spring-hadoop。我在 Maven 中添加了以下依赖项，以便在 java 中使用 hadoop。

<dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-core</artifactId>
        <version>0.20.2</version>
        <exclusions>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jetty-util</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>jsp-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>org.mortbay.jetty</groupId>
                <artifactId>servlet-api-2.1</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet</groupId>
                <artifactId>servlet-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>javax.servlet.jsp</groupId>
                <artifactId>jsp-api</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-compiler</artifactId>
            </exclusion>
            <exclusion>
                <groupId>tomcat</groupId>
                <artifactId>jasper-runtime</artifactId>
            </exclusion>
        </exclusions>
    </dependency>

我执行了 hadoop mapreduce 工作。Mapreduce 工作运行良好。

但我在 Hadoop Web UI ( http://xxx.xxx.xxx.xxx:50030/jobtracker.jsp )的“正在运行的作业”列表中看不到已执行的作业

我开始时没有 hadoop 命令（ex-bin/hadoop -jar ....jar），而只是 java 应用程序。这可能是原因吗？

4

1 回答 1

0

Hadoop 提供 API 来在本地运行 MR 作业，无需设置 Hadoop 集群。如果您没有在 Hadoop Web UI 中看到您的作业正在运行/完成 - 似乎您在本地运行 MR 作业。

要远程运行 - 指定适当的作业跟踪器主机，在您的情况下为http://xxx.xxx.xxx.xxx:9001

于 2014-03-13T04:39:08.857 回答