问题标签 [mrunit]

我正在寻找是否有一种方法可以在 Windows 中运行 hadoop Mapreduce 单元测试而无需设置 hadoop。MRUnit 是否作为 Java maven 项目在 Eclipse 中的 Windows（没有 cygwin）上运行？

谢谢 Srivatsan Nallazhagappan

我正在寻找是否有一种方法可以在 Windows 中运行 Hive 单元测试（即单元测试 hive 查询）而无需设置 hadoop/hive/cygwin。遇到这些开源工具（Hive_runner、HiveTest），尝试在 Eclipse 中将 hiverunner 作为 maven 项目运行，其 JUnit 测试失败并出现以下警告和错误

警告：无法为您的平台加载 native-hadoop 库......在适用的情况下使用内置的 java 类。错误：设置路径权限失败？到 0700

谢谢 Srivatsan Nallazhagappan

我一直在玩 MRUnit，并尝试按照wordcount和unit testing教程运行它以获得 hadoop wordcount 示例

虽然不是粉丝，但我一直在使用 Eclipse 运行代码，但我不断收到 setMapper 函数的错误

错误信息：

查找此问题，我认为这可能是 API 冲突，但我不确定在哪里寻找它。其他人以前有这个问题吗？

编辑我正在使用用户定义的库，其中包含 hadoop2 jar 和最新的 Junit(4.10) jar。

编辑 2这是 WordCountMapper 的代码

最终编辑/它的作品

原来我需要设置

至

因为泛型存在问题。还需要将 mockito 库导入我的用户定义库。

"Mismatch in value class"迁移到 MapReduce 2 后，我的 reducer 单元测试抛出异常：

Mismatch in value class: expected: class org.apache.hadoop.io.IntWritable actual: class com.company.MyWritable

错误消息本身对我来说很清楚，但我不明白为什么 MRUnit 获得临时可写类而不是 IntWritable。

减速器实现：

测试设置：

最后是测试用例：

我正在使用 MRUnit 来测试 Map Reduce 代码。我不能使用 .withInputValue ，因为它已被弃用。我找不到有效的等价物。setInputValue 也不起作用。解决方法是什么？

甚至我也有类似的要求。我想读取具有某些模式的 avro 记录并发出文本数据类型键值，我需要为此编写 MR 单元测试用例。我编写了以下代码，但它给了我以下异常：

以下是我在设置功能中的代码库：

我需要读取具有 Myschema 架构的基于 avro 的记录，并发出具有文本数据类型的键值对。以下是我的映射器类：

有人可以检查我是否缺少任何配置参数并帮助我吗？

相关问题@Test multiple outputs with MRUnit but answer is not applicable for the newer version 1.1.0

问题是如何设置多个命名输出，以便底层模拟实现识别命名路径。我正在写将相同的减速器记录写入 2 条路径。我可以通过调用 MultipleOutputs.addNamedOutput(job, "mos", ...) 在常规 MR 作业中做同样的事情

当我尝试运行 mrunit 时，出现以下异常

scala 代码发布在这里。为代码的冗长道歉。我试着把所有的部分都拉进去，以便更容易地独立运行代码。

我是 Hadoop 新手。我想使用 MRUnit 测试单独测试我的映射器部分。我已经尝试了很多。但我不知道如何解决以下错误
-“MapDriver 类型中的方法 setMapper(Mapper) 不适用于参数 (Recommand.IdIndexMapper)”。我正在使用 Hadoop-1.2.1、Eclipse Juno、mrunit-1.0.0-hadoop1.jar、junit-4.11、mockito-all-1.9.5.jar。下面是我的代码，

我的映射器类：
类名：推荐，

我的测试代码：

我得到的错误是：

MapDriver 类型中的方法 setMapper(Mapper) 不适用于参数 (Recommand.IdIndexMapper)

谁能帮我解决这个问题？

我正在从权威指南书中学习 Hadoop，并尝试执行导致错误的这段代码。
来自第 5 章的示例。Github代码链接：
来源： https ://github.com/tomwhite/hadoop-book/blob/master/ch05/src/main/java/v1/MaxTemperatureMapper.java

}

测试： https ://github.com/tomwhite/hadoop-book/blob/master/ch05/src/test/java/v1/MaxTemperatureMapperTest.java

我得到的错误如下：

这恰好是我在 hadoop 中执行的第一个代码，它抛出了这个错误。任何帮助表示赞赏。提前致谢

我收到以下 MRUnit 错误：

错误 mrunit.TestDriver:收到意外输出 (60, mrdp.MyCustomClass@73207f36)

错误 mrunit.TestDriver：在位置 0 处缺少预期输出（60，mrdp.MyCustomClass@6f73cf45）

我创建了一个MyCustomClasswhich implements Writable，并且有 4 个 int 属性。这是我的映射器的输出值。

以下是mapper的MRUnit测试代码：

setAttr1(1)当在上面找到“1”时，我的 Mapper 应该调用它的 setter new Text("60,5596,1,256")。

如何使用自定义类（具有多个属性）测试此结果？作业执行成功，我只是不知道如何使 MRUnit 测试工作。