hadoop - 如何在 HDFS 中仅保存非空减速器的输出

Question

在我的应用程序中，reducer 将所有部分文件保存在 HDFS 中，但我希望只有 reducer 会写入大小不是 0 字节的部分文件。请让我知道如何定义它。

Answer 1

这是可能的 - 请参阅“延迟输出”的文档部分：

http://hadoop.apache.org/mapreduce/docs/current/mapred_tutorial.html#Lazy+Output+Creation

import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
LazyOutputFormat.setOutputFormatClass(job, TextOutputFormat.class); 

Answer 2

如果您使用的是旧 API，则可以使用NullOutputFormat该类：

import org.apache.hadoop.mapred.lib.NullOutputFormat;
conf.setOutputFormat(NullOutputFormat.class);