0

众所周知，hadoop 计数器的数量是 120。我想增加数量，我尝试在配置中添加流：

mapreduce.job.counters.limit=1000
mapreduce.job.counters.max=1000
mapreduce.job.counters.groups.max=500
mapreduce.job.counters.group.name.max=1000
mapreduce.job.counters.counter.name.max=500

但是，这没有任何意义。那么你们知道如何增加柜台数量吗？提前致谢！

4

2 回答 2

0

您需要更新所有 JobTracker、TaskTracker 和客户端中的配置，然后重新启动它们。例如，mapreduce.job.counters.limit仅在启动时加载到Limits.COUNTERS_MAX。

于 2013-06-27T01:48:49.573 回答
0

尽管您的问题的实际部分已得到解答，但我想提醒您注意几点：

1- 计数器非常昂贵，因为 JobTracker 必须在整个应用程序期间维护每个 map/reduce 任务的每个计数器。所以明智地使用它们。

2- 由于计数器存储在 JobTracker 中，因此您的 JobTracker 很有可能会以如此高的计数器值进入 OOM。这就是保持每个作业可以创建的计数器数量受 Hadoop 限制的原因。

于 2013-06-27T02:11:35.713 回答