hadoop - Mapreduce 工作：没有 reducer 的组合器

Question

我注意到如果我将 reducer 的数量设置为 0，combiner 将无法工作。可以在没有减速器的情况下使用组合器吗？谢谢。

Answer 1

不，这不对。即使使用指定的 Reducer，也不能保证使用组合器。因此，combiners 是严格的优化，可以但不一定在 Reducers 之前调用。如果没有减速器，这些将永远不会被调用。

Answer 2

组合器的全部目的是“组合”映射器输入的一部分，以便映射输出在发送到减速器时消耗更少的网络带宽。如果没有减速器，使用组合器的全部意义就变得毫无意义。因此，不，这是不可能的。