hadoop - 如果 Reducer 的数量超过 Datanode 会发生什么

Question

如果我有 3 个数据节点，我将 Reducer 任务的数量设置为 4，在这种情况下发生了什么？第四个将待命，直到其中一个数据节点完成其减速器任务？或者它们中的两个将同时在同一个数据节点中运行？

Answer 1

添加到 Chaos 的答案中，如果您将 reduce 任务的数量设置为大于整个集群中 reduce 任务的插槽数，那么只要先前的 reduce 插槽未被占用，剩余的 reduce 任务就会运行。

Answer 2

减少任务不依赖于数据节点，它们依赖于分配给特定节点的槽数。TaskTracker 负责在集群中任何节点上的这些插槽上运行任务。每个节点可以有超过 1 个插槽，因此每个节点可以运行超过 1 个 Reduce 任务。