0

我们正在处理 5000 万条数据，最后处理后我们在 pig 脚本中使用 rank 函数，而 pig 作业在执行 rank 函数时失败，我们得到以下错误：“org.apache.hadoop.mapreduce.counters.LimitExceededException：计数器太多：121 max=120"

我们在 pig 脚本中使用了以下命令，但仍然遇到相同的错误：

设置 mapreduce.job.counters.max 1000

如果有人能帮我解决这个错误，或者可以为我提供在 50+百万处理数据上使用排名函数的替代方法，我将不胜感激。

4

1 回答 1

0

检查 mapred-site.xml 计数器限制值。很可能该文件中的限制设置为 120。该文件位于您的 hadoop 主目录中，例如：$HADOOP_HOME/conf/mapred-site.xml

<property>
    <name>mapreduce.job.counters.limit</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>

在 Hadoop 2.0 中mapreduce.job.counters.max

<property>
    <name>mapreduce.job.counters.max</name>
    <value>1000</value> -- Most likely this is set to 120 in your case.
</property>
于 2019-01-29T14:28:56.307 回答