问题标签 [mrunit]

我正在尝试测试减速器波纹管

为此，我在测试中使用了下一个代码：

结果我得到了下一个错误：

作业配置有什么问题？如果有人帮助我解决这些异常，我将非常感激。

我是Maven的新手。我创建了一个用于 MRunit 测试的 Java 项目并将其转换为 Maven 项目。我已将以下依赖项添加到 pom.xml 文件中。但是，我没有看到 Maven Dependencies 文件夹或从 Internet 下载到项目中的任何内容。请指导我。

我正在使用 MRUnit 为我的 mapreduce 作业编写单元测试。

但是，我在将 hdfs 包含在该组合中时遇到了麻烦。我的 MR 工作需要来自 hdfs 的文件。如何模拟 MRUnit 测试用例中的 hdfs 部分？

编辑：

我知道我可以在测试基础设施中为我的 MR 代码指定输入/执行输出。然而，这不是我想要的。我的 MR 工作需要读取另一个具有域数据的文件才能完成这项工作。该文件位于 HDFS 中。我如何模拟这个文件？

我尝试使用 mockito，但它没有用。原因是 FileSystem.open() 返回一个 FSDataInputStream，它继承自 java.io.Stream 之外的其他接口。模拟所有接口太痛苦了。所以，我通过执行以下操作在我的代码中破解了它

这个解决方案并不理想，因为我必须将测试特定代码放在我的生产代码中。我还在等着看是否有一个优雅的解决方案。

映射器类

MAPPER 类的 MRUNIT

我期待结果为

(空) 7

(空) 11

(空) 15

但是当我打印输出时，存储在 Treeset 中的值不在

顺序，它给出了在这个例子中插入的方式

树集包含：11 15 3 7 (another 3 is duplicate it was eliminated).

注意：TreeSet - 消除重复而不给出自然顺序。即使我尝试了 TreeSet 实例的比较器来颠倒顺序，它也会给出以下结果

请帮助我摆脱这个问题。

我可以通过右键单击项目并单击 Run as JUnit 测试从 Eclipse 运行 MRUnit 测试，但是当我在命令行上使用 mvn test 命令运行相同的 MRUnit 测试程序时，我得到以下输出而没有错误：

此外，我可以使用 mvn test 命令运行正常的 JUnit 测试。

我用以下代码编写了 MRunit：

但是当我从 Eclipse 执行 Junit 测试用例时。我遇到如下异常：-

我不确定是什么导致了这个错误，因为我只是打算对我的课程进行单元测试：

如果有人指导如何解决错误，我深表感谢。

我创建了一个小示例来了解如何使用 MRUnit 来测试 MapReduce 代码。我正在尝试运行的示例是 wordcount，所以我不会在此处粘贴代码，因为它对所有人都很熟悉。

我已经使用 JUnit 编写了测试。令我困惑的是，测试的成功取决于列出输出值的顺序。

例如，此测试通过：

但是这个不

这不是我所期望的行为。

这是 MRUnit 中的错误，还是有这种行为的原因？

我有一个处理 ORC 文件的地图程序。从驱动程序中，我将 orcformat 设置为输入格式。

在 OrcNewInputFormat 中，值为 OrcStruct。在 Map 方法中，Writable 值作为参数（值参数）传递，它被类型转换为地图内的 OrcStruct，如下所示。

我想使用 MRUnit 测试这个映射器。为此，在单元测试的设置方法中，我在 testFilePath 中创建了一个 ORC 文件

然后在测试方法中我阅读它并使用 MRUnit 调用映射器。下面是代码

但是在运行测试用例时我得到以下错误

查看 orcserde 我可以看到 MRUnit 调用的写入不受支持。因此测试用例错误。

我们如何对处理处理 Orc 文件的映射器进行单元测试。我正在做的事情还有其他方式或需要改变的地方吗？

在此先感谢您的帮助 。

但是我的 MR 程序有 2 个映射器和 1 个减速器，所以我无法使用创建驱动程序对象

或者

请建议我做错事的任何其他方式。在此先感谢

这是代码

我的单元测试用例代码

出于某种原因，Stackowerflow 不允许我发布问题，所以我添加此评论请忽略此

我目前有一个 mapReduce 程序，可以将数据发送到具有不同文件名的 hdfs。所以在我的减速器中，我使用 MultipleOutputs 写入 HDFS 中的不同文件（下面的完整减速器代码）。

我想使用 mrunit 测试我的代码，下面是我的测试方法。

但是，当我运行这个测试时，它给了我 NPE。

减速机代码：

有什么建议么？