hadoop - 将 Mapreduce 作业的 Reducer 输出写入单个文件

Question

我已经为 HBase 中的数据编写了一个 map-reduce 作业。它包含多个映射器和一个减速器。Reducer 方法接收映射器提供的数据并对其进行一些分析。在 HBase 中的所有数据处理完成后，我想通过单个 Reducer 将数据写回 HDFS 中的文件。目前我每次获得新数据时都可以将数据写入HDFS，但最终无法弄清楚如何将最终结论写入HDFS。

Answer 1

因此，如果您尝试将单个 reducer 的最终结果写入 HDFS，您可以尝试以下任何一种方法 -

1. 使用 Hadoop API FileSystem 的 create() 函数从 reducer 写入 HDFS。
2. 最终计算后从 reducer 发出单个键和值
3. 覆盖 Reducers cleanup() 函数并在那里执行第 (1) 点。

3的详细信息：

http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapreduce/Reducer.html#cleanup-org.apache.hadoop.mapreduce.Reducer.Context-

希望这可以帮助。