hadoop - 可以在 MR1 上使用 Hadoop 公平/容量调度程序吗？

Question

根据我的阅读，YARN (MRv2) 允许插入调度程序，替换默认的 FIFO 调度程序。我的问题是，我们可以在 MRv1 中做同样的事情吗？有没有办法在旧版本的 Hadoop 中替换 FIFO 调度程序，或者这是只有 YARN 提供的东西？

Answer 1

我在 0.20.x 版本的 Hadoop 中使用公平调度程序已有一段时间了，从未遇到任何问题。

您可以设置以下属性：

<property> 
  <name>mapred.jobtracker.taskScheduler</name> 
  <value>org.apache.hadoop.mapred.FairScheduler</value> 
</property>

然后你可以去http://<jobtracker URL>/scheduler

有关如何在 MR1 中设置例如公平调度程序的更多详细信息。