我们在 debian + ubuntu 上使用 hadoop 多节点设置和最新的稳定 hadoop 版本。是否可以将特定的从站设置为减速器?我只使用一个减速器任务,我想将它分配给性能最高的奴隶。atm 我们有 1 个主控,他只是将任务分配给从属和 5 个从属,一个比其他的更强大。
提前致谢
mapred.tasktracker.reduce.tasks.maximum
通过在所有文件中设置为 0 来禁用所有其他节点上的 reducer 插槽conf/mapred-site.xml
(要减少的一个节点除外)。
或者,您可以为 Fair Scheduler 编写一个自定义的 LoadManager 类(参见 参考资料),但这需要更多的工作。