1

当我运行带有和不带有多个输出的 mapreduce 时，我看到控制台日志之间存在差异。

我有一个仅输出到文本文件的映射器作业。

如果没有配置 MultipleOutputs，

我的映射器中的代码片段：

context.write(null,new Text(value));

控制台输出摘录

Map-Reduce Framework
       Map input records=2
       Map output records=2

使用多个输出，

我的映射器中的代码片段：

multipleOutputs.write(null,new Text(value),FileOutputFormat.getOutputPath(context).toString() +  Path.SEPARATOR + "v");

控制台输出摘录

Map-Reduce Framework
       Map input records=2
       Map output records=0

避免空零件文件的驱动程序代码

LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class);

注意输出记录的数量。虽然在第二种情况下显示为 0，但我仍然在文件中看到正确的输出。生成的文件名为 vm-00000。

我错过了什么吗？

4

1 回答 1

1

映射输出记录计算映射器发出的键值对的数量（使用context.write()）。这是将记录从映射器传递到减速器的唯一方法，这也是该计数器存在的原因。

如果您想计算从任何其他方法写入的记录数，或者实际上，如果您想计算其他任何东西，您必须定义自己的自定义计数器，我建议您这样做。

于 2015-12-29T10:24:17.600 回答