hadoop - Hadoop流API-限制每个作业的映射器数量

Question

我有一个在小型 hadoop 集群上运行的作业，我想限制它为每个数据节点生成的映射器数量。当我使用 -Dmapred.map.tasks=12 时，由于某种原因，它仍然会生成 17 个映射器。我已经想出了一种在全球范围内限制它的方法，但我想在每个工作的基础上做到这一点。

Answer 1

在 Map Reduce 中，生成的映射器总数取决于从您的数据创建的输入拆分。

每个输入拆分都会产生一个映射器任务。所以，你不能减少 Map Reduce 中映射器的数量。