0

我们在 debian + ubuntu 上使用 hadoop 多节点设置和最新的稳定 hadoop 版本。是否可以将特定的从站设置为减速器?我只使用一个减速器任务,我想将它分配给性能最高的奴隶。atm 我们有 1 个主控,他只是将任务分配给从属和 5 个从属,一个比其他的更强大。

提前致谢

4

1 回答 1

1

mapred.tasktracker.reduce.tasks.maximum通过在所有文件中设置为 0 来禁用所有其他节点上的 reducer 插槽conf/mapred-site.xml(要减少的一个节点除外)。

或者,您可以为 Fair Scheduler 编写一个自定义的 LoadManager 类(参见 参考资料),但这需要更多的工作。

于 2011-06-03T20:58:56.370 回答