1

我想将任务统一分配给所有节点。有没有办法控制这个?

4

2 回答 2

2

地图任务将被放置在离输入数据最近的空闲任务跟踪器上。

优先级是:

  1. 同一台机器
  2. 同一个机架
  3. 其他

在大多数情况下,您不必自己担心平衡问题。

于 2012-04-19T13:17:06.057 回答
0

你无法控制:

  • 执行 map 和 reduce 任务的地方
  • map 和 reduce 任务何时开始或结束
  • map 任务或 reduce 任务处理了哪些键和值

但是,您可以控制:

  • reduce 任务处理什么键以及它们在 reduce 中出现的顺序(使用分区程序)

总之你不能只平衡map任务,但是reduce任务是由框架平衡的

于 2012-04-19T15:11:01.543 回答