我想将减少任务的数量设置为与一项作业中可用的减少插槽数量完全相同。
默认情况下，reduce 任务被计算为可用的 reduce slot 数的约 1.75 倍（在 Elastic Mapreduce 上）。我注意到我的作业非常均匀地完成了 reduce 任务，因此最好在作业中的每个 reduce 槽运行 1 个 reducer。
但是如何从我的作业配置中识别集群指标？
问问题
148 次
1 回答
1
您可以使用ClusterMetrics类获取有关 Map-Reduce 集群当前状态的状态信息，如集群大小、列入黑名单和停用的跟踪器数量、集群的 Slot 容量、当前占用/保留的 map & reduce 的数量插槽等
于 2012-12-17T13:43:08.073 回答