hadoop - 当 Map 操作发送非键值作为 MapReduce 中的输出时，Reducer 会发生什么

Question

Map 操作一般将输入作为键值对。它将返回与输出相同的键和值对。如果 map 将返回非键值对输出，那么 Reducer 将如何处理该输出。

请任何人对此提供帮助将不胜感激

Answer 1

我不确定 Java MapReduce，但在 Hadoop Streaming 中，如果映射器不产生任何输出，则化简器将不会运行。

您可以通过创建 2 个小型 python 脚本来测试它：

一个简单地使用输入而不产生任何东西的映射器

#!/usr/bin/python
input()

一启动就崩溃的减速器

#!/usr/bin/python
sys.exit("some error message")

如果启动它，MapReduce 作业将完成且没有任何错误