在 MRv1 中,我们有以下两个可配置参数来设置每个节点的 Map 和 reduce 槽数。
mapred.tasktracker.map.tasks.maximum
mapred.tasktracker.reduce.tasks.maximum
此外,建议 Map 槽的数量略高于 Reduce 槽的数量。Map Reduce 作业的理想化简器数量应等于或大于集群中可用的化简槽数。
如果我的上述理解对 MRv1 不正确,请更正...
在 MRv2 中,我们不再有插槽的概念,而是容器为执行 Map/Reduce 任务提供所需的内存和 CPU。
我的问题来了,如何确定 MRv2 中任何 Map Reduce 作业的减速器数量?
谢谢