hadoop - 没有 hadoop 集群的 windows 上的 MRUnit

Question

我正在寻找是否有一种方法可以在 Windows 中运行 hadoop Mapreduce 单元测试而无需设置 hadoop。MRUnit 是否作为 Java maven 项目在 Eclipse 中的 Windows（没有 cygwin）上运行？

谢谢 Srivatsan Nallazhagappan

Answer 1

您可以运行独立MRUnit测试。你所需要的只是你的 pom.xml 中的一些依赖项。我只是做了一个快速的小测试，这些是我运行成功测试所需的唯一依赖项。只是一个带有硬编码值的简单测试。没有 cywin，没有 hadoop 设置，只有依赖项。

<dependencies>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.7.0_25</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>1.0.0</version>
        <classifier>hadoop2</classifier>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

至于在没有 cygwin 的情况下运行设置，这也是可能的。查看此站点和此站点以获取有关在没有cywin的情况下为 windows 构建和安装 hadoop 的帮助。

另一个有用的工具是 eclipse 的 hadoop 插件。您可以在此处查看已编译的版本。它很容易使用。您可以在此处获得有关如何使用它的帮助