问题标签 [mrunit]

有没有办法测试一个用于写入多个输出文件的reduceMRUnit类MultipleOutputFormat？

我是 Hadoop 新手，这是我的第一个映射程序，我正在通过 MR 单元对其进行单元测试。

我正在传递我通过配置对象设置的参数（年份）

我的映射器：

在 MR 单元测试中，我正在模拟上下文类以及 key 、 value

但是无法在映射中获取值（Year），接收 null。我这样做是正确的还是有更好的方法来测试映射。

我只有创建用于批量加载到 HBase 的文件的映射器类，并且我已经编写了一个用于单元测试的 MRUnit。

尽管预期结果和重新生成的结果相同，但 MRUnit 失败并显示消息 "Missing expected output"。

预期输出：(4b 65 79 31, {"totalColumns":1,"families":{"default":[{"timestamp":9223372036854775807,"qualifier":"default","vlen":6}]},"row":"Key1"})

实际输出：(4b 65 79 31, {"totalColumns":1,"families":{"default":[{"timestamp":9223372036854775807,"qualifier":"default","vlen":6}]},"row":"Key1"})

我哪里错了？ImmutableBytesWritable 或 Put 有问题吗？

MRUnit 的最新版本是 0.9。此版本不支持 DistributedCache。这个https://issues.apache.org/jira/browse/MRUNIT-98显示 1.0.0 支持 DistributedCache。我想获得一个为 hadoop1 构建的 MRUnit 1.0.0 jar，但我找不到。所以我尝试自己构建它，但是 maven repo 中缺少所需的 jar。

这是我正在使用的命令： mvn package -DenvClassifier=hadoop1 -DspecificHadoopVersion=1.0.3

它因依赖错误而失败。我可以手动获取所需的 jar，但我不知道如何让构建使用它们。

我怎样才能得到我想要的 jar（或者自己构建，或者下载它）？

我正在尝试使用 MRUnit 测试 Hadoop .mapreduce Avro 作业。我收到如下所示的 NullPointerException。我附上了一部分 pom 和源代码。任何援助将不胜感激。

谢谢

我得到的错误是：

pom片段：

这是测试的摘录：

我正在尝试使用 MRUnit 测试一个简单的 MapReduce 项目。我为 mapDriver 设置输入，然后调用mapDriver.runTest()（我也尝试过mapDriver.run()但产生相同的错误）。

我编写了一个自定义键，它重载了write(DataOutput out),readFields(DataInput in)和compareTo(...)方法。调试时，Key 使用write(DataOutput out). 但是，在键的readFields(DataInput in)方法（正确检索先前使用 写入的数据write(DataOutput out)）完成后，将引发以下错误。

我在这里搜索了类似的帖子，并尝试覆盖hashCode()andequals()方法无济于事。使用自定义键时，MRUnit 是否需要覆盖任何其他方法？这篇文章与序列化中带有 Avro NullPointerException 的 MRUnit最相似。但是，我没有使用 avro，据我所知，我使用的是默认序列化。干杯!

使用Apache MRUnit，我可以在本地对我的 MapReduce 程序进行单元测试，然后再在集群上运行它。

我的程序需要从DistributedCache中读取，所以我封装了一个在单元测试中模拟DistributedCache.getLocalCacheFiles的类。我设置了一个存根，以便在不调用该方法时将返回本地路径。但事实证明，该方法被调用并抛出。 FileNotFoundException

这是我的 MapReduce 程序的样子

还有我的测试程序

DistributedCacheClass是一个简单的包装器

我可以在 Mapper 的设置方法中添加一个标志，以便在测试时读取本地路径，但我确实想从我的 MapReduce 程序中拆分测试代码。

我是模拟测试和 MRUnit 的新手，所以我的程序中可能存在新手错误。请指出错误，我将修复它们并在下面发布我的更新。

是否可以在独立模式下运行 MRUnit？将隔离映射器/缩减器的优点与仍然从本地磁盘读取的透明且简单的输出检查相结合（我想测试特定的 FileSYStem 实现）。

我正在尝试使用 MRUnit，但我所看到的示例都与我正在尝试做的完全不匹配。

我的减速器输出一个键和突变，但我似乎无法将突变与预期进行比较。它显示对象相同，但地址为 0 并出现以下错误：

我正在使用 reduceDriver.run() 方法，并尝试在我预期的突变对象上使用实际的 assertEquals。有什么我想念的吗？

感谢您的任何意见。

我一直在搜索 mrunit 文档，但到目前为止还没有找到它。我如何在我的 mrunit 中传递配置参数。

例如，如果我以字数为例。

可以说，在我的驱动程序代码中，我正在设置此参数...

在我的映射器代码中，我将其称为：

如何设置此配置参数。

我一直在研究这个例子： https ://github.com/wpm/Hadoop-Word-Count/blob/master/src/test/java/wpmcn/hadoop/WordCountTest.java

谢谢