1

刚开始使用hadoop,有几个关于reducer执行的问题。

当键、值对分配给一个 reducer 任务时。它是顺序处理还是并行处理。

例如 (A,5) (A,3) (B,10) 用于 reducer 任务。A,B 是否并行进入减速器?

4

1 回答 1

2

当使用一个 reducer 时,KV 对不是并行处理的,而是按排序顺序处理的。在上面的示例中,这些对将从一个或多个映射器任务(如果多个映射器并行)发送到单个 reduce 任务。在将这些值传递给您的减速器类之前,它们被聚合((A,5)和(A,3)变成(A,{5,3})),然后在减速器任务实际运行用户代码之前排序“减少”输入集。

于 2013-02-20T22:57:33.960 回答