mapreduce - HBase MapReduce 是否支持组合器阶段？如果是这样，怎么办？

Question

Hadoop map reduce 支持组合器阶段。但是，我在 HBase MapReduce 包中找不到类似的功能。它存在吗？

score 3 · Accepted Answer

如果您使用 HBase 作为输入格式和非 HBase 输出格式运行 MapReduce 作业，则它们是相同的。

组合器是只对单个映射器的输出进行操作的化简器。只要你只在你的 reducer 中做幂等的事情，你就可以通过简单地说： job.setCombiner(.class); 将你的 reducer 放在组合器槽中。

score 1 · Accepted Answer

您可以使用 job.setCombiner(.class); 在 map reduce 中使用组合器类的方法。Reducer 也将充当组合器

2 回答 2