hadoop - hadoop reducer 是否在每个节点中顺序或并行执行键？

Question

刚开始使用hadoop，有几个关于reducer执行的问题。

当键、值对分配给一个 reducer 任务时。它是顺序处理还是并行处理。

例如 (A,5) (A,3) (B,10) 用于 reducer 任务。A,B 是否并行进入减速器？

Answer 1

当使用一个 reducer 时，KV 对不是并行处理的，而是按排序顺序处理的。在上面的示例中，这些对将从一个或多个映射器任务（如果多个映射器并行）发送到单个 reduce 任务。在将这些值传递给您的减速器类之前，它们被聚合（（A,5）和（A,3）变成（A，{5,3}）），然后在减速器任务实际运行用户代码之前排序“减少”输入集。