hadoop - mapreduce 作业中的“Combiner”类

Question

Combiner 在 Mapper 之后和 Reducer 之前运行，它将接收给定节点上 Mapper 实例发出的所有数据作为输入。然后向 Reducers 发出输出。

此外，如果 reduce 函数既可交换又可关联，那么它可以用作组合器。

我的问题是在这种情况下“交换和联想”这个词是什么意思？

Answer 1

假设你有一个数字列表，1 2 3 4 5 6。

这里的关联意味着您可以进行操作并将其应用于任何子组，然后将其应用于这些结果并得到相同的答案：

(1) + (2 + 3) + (4 + 5 + 6)
  ==
(1 + 2) + (3 + 4) + (5) + (6)
  ==
...

将此处的括号视为组合器的执行。

可交换意味着顺序无关紧要，所以：

1 + 2 + 3 + 4 + 5 + 6
  ==
2 + 4 + 6 + 1 + 2 + 3
  ==
...

例如，如前所述，加法适合此属性。“最大值”也适合上面的这个属性，因为 maxs 的最大值就是最大值。最大值（a，b）== 最大值（b，a）。

中位数是一个不起作用的例子：中位数的中位数不是真正的中位数。

---

不要忘记组合器的另一个重要属性：键/值的输入类型和键/值的输出类型需要相同。例如，您不能接受 string:int 并返回 string:float。

通常，reducer 可能会输出某种字符串而不是数值，这可能会阻止您将 reducer 作为组合器插入。

Answer 2

对于交换性，假设您的 reducer 可以用一个名为 f() 的函数（在数学术语中）表示。那么如果 f(a, b) = f(b, a) 你的 reducer 是可交换的，例如：

• sum(A, B) 与 sum(B, A) 相同
• xor(A, B) 与 xor(B, A) 相同
• concat(A, B)与concat(B, A) 不同

对于关联性，属性是 f(f(a, b), c) = f(a, f(b, c))。例如：

• (A + B) + C 与 A + (B + C) 相同
• (A - B) - C与A - (B - C) 不同

所以在 Map/Reduce 的上下文中，你的 reducer 必须尊重这两个属性。例如，如果你的 reducer 只做 sum() 或 max()，它会尊重这两个属性，但像 mean() 或 median() 这样的东西不会，因此你不能将它用作组合器。

我个人认为组合器是在映射阶段之后在内存中运行的小型缩减器，作为减少网络流量的优化，如果您以这种方式看到映射/缩减，交换性/关联性实际上是有意义的：