hadoop - 是否可以在 Amazon Elastic MapReduce 工作流程中添加“组合”步骤？

Question

我指的是 Hadoop wiki 上提到的组合步骤。我无法在 AWS 文档中找到对它的引用，我想利用此步骤。

Answer 1

Combiner 的文档将在 Apache 文档中，而不是在 AWS 文档中。Amazon Elastic MapReduce 支持带有自定义补丁的 Hadoop 0.18.3 和 0.20.2版本。Apache MR 教程参考了如何使用组合器功能。调用Job.setCombinerClass()来设置组合器类。