问题标签 [mrunit]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
java - 用于测试hadoop map程序错误的MRUnit测试
我正在尝试使用 MRUnit 对 Mapper 程序进行单元测试(来自 Hadoop:权威指南,第 153 页,部分:使用 MRUnit 编写单元测试:Mapper)。我正在使用 intellij Idea,它显示方法错误
错误消息说, MapDriver 中的 withMapper(org.apache.hadoop.mapreduce.Mapper) 不能应用于 (complexmapreduce.MaxTempMapper)
MaxTempMapper被声明为org.apache.hadoop.mapreduce.Mapper的子类 ,所以我不太确定这里出了什么问题。
这是完整的映射器和单元测试类
最大温度映射器
MaxTempUnitTest
注意:已经尝试过这里的解决方案,但没有运气。
这是 Intellij 的屏幕截图
apache - 用于镶木地板的 MRUnit
我正在尝试测试我的驱动程序,MRUnit
我的MapDriver
格式是MapDriver <LongWritable, Group, ImmutableBytesWritable, KeyValue>
我找到了正确的序列化KeyValue
但找不到一个Group
,我收到以下错误。
在 io.serializations 的 conf 中没有实现序列化的适用类:类 org.apache.parquet.example.data.simple.SimpleGroup
我目前正在io.serializations
这样设置
我在哪里可以找到 Hadoop 组类的序列化?
hadoop - MapReduce Mrunit 错误
我是 Hadoop 的新手。昨天照着书,用JUnit作为气象数据的相应单元测试。但是出现了一些问题。
这是我的 pom 文件:
这是问题:
java.lang.IncompatibleClassChangeError:找到类 org.apache.hadoop.mapreduce.TaskInputOutputContext,但需要接口
期待并感谢您的回答!</p>
mapreduce - mrunit - 使用 mrunit.mapreduce.MapDriver 不调用自定义记录阅读器
我正在修改 Record Reader 中的 MapReduce 程序,并想为 mapper 编写一个测试用例来调用自定义的 InputFormat 或 Record Reader。我已经修改了记录阅读器的测试用例,但记录阅读器测试用例不是 mrunit 的。
由于 MapDriver.newMapDriver 下未列出 withInputFormat 函数,如何从 Mapper 调用自定义的 Record Reader?
请找到我的代码快照:
谢谢