hadoop - mapreduce：可以减少阶段“发射”吗？

Question

假设我们正在节点上进行处理。等待处理的键是 2,1,3。在预处理中，键将被排序为 1,2,3。处理顺序为：

开始处理 1
处理 1 完成
开始处理 2
处理 2 完成
开始处理 3
处理 3 完成

在处理密钥 1 时，我可以用密钥 2 发出一些东西吗？在处理密钥 2 时，将处理发出的东西。

我认为这与并行处理的概念没有冲突，因为同一节点上的键将按顺序处理。

Answer 1

不，因为分区步骤已经发生，所以您的 reduce 步骤的任何输出都将转到目标文件夹，而不是返回输入文件夹

分区输入 => 减速器 => 输出

您始终可以使用身份映射器和相同的减速器运行第二个 mapreduce 作业。