Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
刚开始使用hadoop,有几个关于reducer执行的问题。
当键、值对分配给一个 reducer 任务时。它是顺序处理还是并行处理。
例如 (A,5) (A,3) (B,10) 用于 reducer 任务。A,B 是否并行进入减速器?
当使用一个 reducer 时,KV 对不是并行处理的,而是按排序顺序处理的。在上面的示例中,这些对将从一个或多个映射器任务(如果多个映射器并行)发送到单个 reduce 任务。在将这些值传递给您的减速器类之前,它们被聚合((A,5)和(A,3)变成(A,{5,3})),然后在减速器任务实际运行用户代码之前排序“减少”输入集。