0

当我们将多个 reducer 设置为 one 时会发生什么？它是写入单个文件还是造成瓶颈（因为默认情况下reducer 的数量是一个）。减速器的数量是否由运行时决定？

4

1 回答 1

2

当使用 1 个 reducer 运行作业时，您会失去 reducer 任务的并行性。reducer 任务将接收所有映射器的输出，并且可能会占用大量内存，并且最终会写入单个文件。reducer 的数量默认为 1，但可以并且应该通过在作业配置中设置来增加

      jobConf.set("mapred.reduce.tasks", numReducers)
于 2012-09-05T23:47:02.800 回答