hadoop - 测试在 Hadoop 中运行的应用程序

Question

我是测试新手。是否有一些测试框架来测试在 Hadoop 中运行的应用程序。我有一些在 2 节点集群中运行的 jar 文件。

Answer 1

可以从 Hadoop 测试开始的第一个地方是使用MRUnit编写本地单元测试。它相当于 JUnit，但用于为 MapReduce 编写单元测试。

• MRUnit 教程 - https://cwiki.apache.org/confluence/display/MRUNIT/MRUnit+Tutorial

Answer 2

您还可以通过设置配置在本地 jobtracker jvm 上运行开发测试：

Configuration conf = new Configuration();
conf.set("fs.default.name", "file:///");
conf.set("mapred.job.tracker", "local");

Path input = new Path(getClass().getResource("/") + "testfile");
Path output = new Path(getClass().getResource("/") + "testfile_output");

可以参考《Hadoop权威指南》第5章