hadoop - Hadoop：如何将任务统一分配到所有节点

Question

我想将任务统一分配给所有节点。有没有办法控制这个？

Answer 1

地图任务将被放置在离输入数据最近的空闲任务跟踪器上。

优先级是：

1. 同一台机器
2. 同一个机架
3. 其他

在大多数情况下，您不必自己担心平衡问题。

Answer 2

你无法控制：

• 执行 map 和 reduce 任务的地方
• map 和 reduce 任务何时开始或结束
• map 任务或 reduce 任务处理了哪些键和值

但是，您可以控制：

• reduce 任务处理什么键以及它们在 reduce 中出现的顺序（使用分区程序）

总之你不能只平衡map任务，但是reduce任务是由框架平衡的