java - Apache Hadoop 与 Gora 中的组合器功能

Question

我有一个简单的 Hadoop、Nutch 2.x、Hbase 集群。我必须写一个能找到一些统计数据的 MR 工作。这是两步工作，即，我想我也需要组合器功能。在简单的 Hadoop 作业中，它不是一个大问题，因为给出了很多指南，例如这个。但我找不到任何将组合器与 Gora 一起使用的选项。我的统计数据将被添加到 Hbase 的页面中，这就是为什么我无法了解 Gora（我认为）。以下是我希望添加 com 的代码片段

GoraMapper.initMapperJob(job, query, pageStore, Text.class, WebPage.class,
        My_Mapper.class, null, true);


    job.setNumReduceTasks(1);

    // === Reduce ===
    DataStore<String, WebPage> hostStore = StorageUtils.createWebStore(
        job.getConfiguration(), String.class, WebPage.class);
    GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);

Answer 1

我从未将组合器与 Gora 一起使用，但这是否有效（或者它显示了什么错误）？：

GoraReducer.initReducerJob(job, hostStore, My_Reducer.class);
job.setCombinerClass(My_Reducer.class);

---

编辑：在Apache 的 Jira上创建了一个关于 Combiner 的问题。