hadoop - 如何过滤 Hadoop 结果输出

Question

我的减速机：

public static class CustomReducer extends Reducer<Int256Writable, ByteWritable, IntWritable, Int256Writable>

根据结果​​ IntWritable 是否 > 1，我想过滤 Hadoop 的输出，以便所有这些 KV 对都不会写入条件适用的输出。

到目前为止，我使用的是简单的 TextOutputFormat，但我计划很快更改为二进制。

如何在输出之前过滤 KV 对？

Answer 1

天哪，我是愚蠢的。作为记录：如果您不希望它出现在输出中，请不要在您的减速器中使用 context.write 结果。