1

我正在对具有 2250 个分区的表运行配置单元查询，我收到此错误，我不确定它超出了哪些任务以及如何解决此问题。谢谢，

Hive 历史文件=/tmp/hadoop/hive_job_log_hadoop_201310040052_1692176679.txt 总 MapReduce 作业 = 2 正在启动作业 1 / 2 未指定减少任务的数量。根据输入数据大小估计：10 为了更改减速器的平均负载（以字节为单位）：设置 hive.exec.reducers.bytes.per.reducer= 为了限制减速器的最大数量：设置 hive.exec。 reducers.max= 为了设置一个恒定数量的reducer： set mapred.reduce.tasks= org.apache.hadoop.ipc.RemoteException: java.io.IOException: java.io.IOException: 该作业的任务数31497 超过了在 sun.reflect.GeneratedMethodAccessor19.invoke(Unknown Source) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:

4

1 回答 1

1

在您的mapred-site.xml中添加属性mapred.jobtracker.maxtasks.per.job并将其设置为高于 31497 或任何您要求的值。进行更改后重新启动守护程序。

于 2013-10-04T07:28:05.173 回答