hadoop - 什么时候需要“无映射器”？

Question

在某些用例中，我已经有一段时间没有使用减速器工作了，但我还没有遇到过“没有映射器”工作。“没有映射器”意味着 mapreduce 框架仍然会读取输入文件并以某种方式对它们进行混洗/排序（基于 InputFormat？），这些将是我的减速器的输入？

Answer 1

“No mapper”是“identity mapper”的委婉说法。如果您不指定一个，则默认映射器就是这样。至少，恒等映射器进程将未更改的输入引导到正确的 reducer 分区。

Answer 2

如果您使用 Hadoop Streaming：

-mapper "/bin/sh -c \"cat\""

Answer 3

对于一些基于输入键的聚合函数，身份映射器是有意义的。mapper 将发出与它的输入相同的 i/o 键，reducer 将聚合特定键的值。