问题标签 [mrunit]

我正在尝试使用 MRUnit 1.1.0 测试一些 MapReduce，但出现此错误：

我执行的代码是：

我正在阅读 JIRA https://issues.apache.org/jira/browse/MRUNIT-13他们将新功能添加到 MRUnit 但我不知道我错过了什么..

我还包括注释：

我继续检查代码和调试并修复。问题是我在 Mapper 中的书写方式。我正在使用 mop.write(K,V,baseOutput) 实例 mop.write(NameFile, K, V)，现在它正在使用

但我真的觉得更舒服

我不知道为什么它不能以这种方式工作 MRUnit，它什么也不返回。我进入了代码内部，但没有得到它。有什么线索吗？

mrunit(1.1.0)我在Cloudera 存储库中找不到最新的。可用的是0.8.0-incubating. 以下是我的pom：

如果我将版本更改为 1.1.0 eclipse 会在 pom 文件中的 mrunit 依赖项中找不到工件。

我尝试添加 apache repo

Eclipse下载了 jar，.m2但我仍然找不到工件。单元测试调用将无法编译。有人可以帮助使用最新mrunit的 cloudera repo 的安全方法是什么。

谢谢，阿米特

我有一个 mapreduce 进程，它有 2 个映射器/缩减器对链接在一起。

我怎样才能对整个链条进行单元测试？

我查看了 MapReduceDriver，似乎无法弄清楚如何将第一个作业的输出通过管道传输到第二个。

谢谢

我有一个 mapreduce 程序，只有映射器，没有减速器集。我想测试一下。我有以下测试代码

调用 mapDriver.withOutput(null, [some value]); 这条线抛出异常

java.lang.NullPointerException at org.apache.hadoop.mrunit.internal.io.Serialization.copy(Serialization.java:58) at org.apache.hadoop.mrunit.internal.io.Serialization.copy(Serialization.java:91 ) 在 org.apache.hadoop.mrunit.internal.io.Serialization.copyWithConf(Serialization.java:104)

有人可以让我知道如何为发出 null 的映射器编写测试场景吗？

如果我执行 Nullwritable.get，那么我在 org.apache.hadoop.mrunit 的 org.apache.hadoop.mrunit.internal.io.Serialization.copy(Serialization.java:73) 处得到如下 java.lang.NullPointerException 异常。 internal.io.Serialization.copy(Serialization.java:91) at org.apache.hadoop.mrunit.internal.io.Serialization.copyWithConf(Serialization.java:104) at org.apache.hadoop.mrunit.TestDriver.copy( TestDriver.java:608) 在 org.apache.hadoop.mrunit.TestDriver.copyPair(TestDriver.java:612) 在 org.apache.hadoop.mrunit.TestDriver.addOutput(TestDriver.java:118) 在 org.apache.hadoop .mrunit.TestDriver.withOutput(TestDriver.java:138) 在 com.gfk.gxl.etl.common.ExtractCSVTest.testMapper(ExtractCSVTest.java:73) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

看起来更像是序列化中带有 Avro NullPointerException 的 MRUnit 但是答案并没有解决我的问题

我有一个 mapreduce 作业，其中映射器从几个 HBase 表中读取。它在我的集群上运行良好。我正在用 MRUnit 追溯编写一些单元测试。我正在尝试从手动实例化的 KeyValue 对象列表中组合一个 Result 对象，以用作 map() 方法的输入。当我随后尝试读取 map() 方法中的几列时，似乎只有列表中的第一个 KeyValue 对象保留在 Result 对象中——其他列为空。在下面，我有一个名为“0”的列族。

我是否错误地创建了 Result 对象？如前所述，映射器在我的集群上的真实 HBase 数据上运行良好，所以我相信是我的测试设置有问题。

I am studying Hadoop on the book "Hadoop, the definitive guide 4th edition" by O'Really and I am having an issue in trying to create a Maven project for MRUnit testing. I just created the pom.xml file as shown in the book (just changing my hadoop version) but it does not work and Eclipse swhow me a lot of ArtifactTransferExceptions.

My pom.xml looks like this:

May anybody tell me how to fix the problem and writing a correct pom.xml for this?

Thanks.

我正在使用 MRunit 对我们的 MapReducer 进行单元测试，下面是 pom 更改

我没有使用 AVRO。

我添加了以下几行以摆脱序列化问题

现在，我使用下面的 api 添加输入

但是现在当我通过上面的调用添加我的输入时，我遇到了错误

知道我在这里缺少什么吗？

I have written a Map only hadoop job in which i have used MultipleOutputs concept. The problem here is, i want to test this code with MRUnit. I don't see any working example for MultipleOutputs testing.

My mapper code will be like,

Can anyone of you guys give me a working example of MRUnit test with MultipleOutputs?

当我使用 MultipleOutputs 运行基本 MRUnit 时，出现以下异常：

发现请求了mapred.output.dir配置，为空。简单输出不会出现此问题。

MRUnit 代码：

如何在不指定 hadoop 系统/输出路径的情况下运行测试。

Hadoop 2，MRUnit 1.1.0

我想测试hadoop2 mapreduce代码，使用mrunit但有错误。本地机器不要在windows中安装hadoop。pom.xml 下面：

地图代码如下：

减少以下代码：

Mrunit代码测试如下：</p>

执行测试方法有错误。使用mrunit必须在本地机器上安装hadoop？

如何解决问题？