我编写了一个自定义记录阅读器并寻找示例测试代码来使用 MRUnit 或任何其他测试框架测试我的自定义阅读器。它根据功能工作正常,但我想在安装之前添加测试用例。任何帮助都是不言而喻的。
问问题
739 次
1 回答
0
在我看来,自定义记录阅读器就像任何迭代器一样。为了测试我的记录阅读器,我已经能够在没有 MRUnit 或任何其他 hadoop junit 框架的情况下工作。测试执行速度很快,占用空间也很小。在您的测试用例中初始化记录阅读器并继续对其进行迭代。这是我的一个测试中的伪代码。如果您想朝这个方向前进,我可以为您提供更多详细信息。
MyInputFormat myInputFormat = new MyInputFormat();
//configure job and provide input format configuration
Job job = Job.getInstance(conf, "test");
conf = job.getConfiguration();
// verify split type and count if you want to verify the input format also
List<InputSplit> splits = myInputFormat.getSplits(job);
TaskAttemptContext context = new TaskAttemptContextImpl(conf, new TaskAttemptID());
RecordReader<LongWritable, Text> reader = myInputFormat.createRecordReader(splits.get(1), context);
reader.initialize(splits.get(1), context);
for (; number of expected value;) {
assertTrue(reader.nextKeyValue());
// verify key and value
assertEquals(expectedLong, reader.getCurrentKey());
}
于 2014-03-11T06:51:50.223 回答