问题标签 [mrunit]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
348 浏览

java - 用于测试hadoop map程序错误的MRUnit测试

我正在尝试使用 MRUnit 对 Mapper 程序进行单元测试(来自 Hadoop:权威指南,第 153 页,部分:使用 MRUnit 编写单元测试:Mapper)。我正在使用 intellij Idea,它显示方法错误

错误消息说, MapDriver 中的 withMapper(org.apache.hadoop.mapreduce.Mapper) 不能应用于 (complexmapreduce.MaxTempMapper)

MaxTempMapper被声明为org.apache.hadoop.mapreduce.Mapper的子类 ,所以我不太确定这里出了什么问题。

这是完整的映射器和单元测试类

最大温度映射器

MaxTempUnitTest

注意:已经尝试过这里的解决方案,但没有运气。

这是 Intellij 的屏幕截图

截屏

0 投票
0 回答
125 浏览

apache - 用于镶木地板的 MRUnit

我正在尝试测试我的驱动程序,MRUnit我的MapDriver格式是MapDriver <LongWritable, Group, ImmutableBytesWritable, KeyValue>我找到了正确的序列化KeyValue但找不到一个Group,我收到以下错误。

在 io.serializations 的 conf 中没有实现序列化的适用类:类 org.apache.parquet.example.data.simple.SimpleGroup

我目前正在io.serializations这样设置

我在哪里可以找到 Hadoop 组类的序列化?

0 投票
2 回答
117 浏览

hadoop - MapReduce Mrunit 错误

我是 Hadoop 的新手。昨天照着书,用JUnit作为气象数据的相应单元测试。但是出现了一些问题。

这是我的 pom 文件:

这是问题:

java.lang.IncompatibleClassChangeError:找到类 org.apache.hadoop.mapreduce.TaskInputOutputContext,但需要接口

期待并感谢您的回答!</p>

0 投票
1 回答
23 浏览

mapreduce - mrunit - 使用 mrunit.mapreduce.MapDriver 不调用自定义记录阅读器

我正在修改 Record Reader 中的 MapReduce 程序,并想为 mapper 编写一个测试用例来调用自定义的 InputFormat 或 Record Reader。我已经修改了记录阅读器的测试用例,但记录阅读器测试用例不是 mrunit 的。

由于 MapDriver.newMapDriver 下未列出 withInputFormat 函数,如何从 Mapper 调用自定义的 Record Reader?

请找到我的代码快照:

谢谢