hadoop - pig 忽略 maxReducers 并改用 mapred.reduce.tasks

Question

我的猪脚本生成了大约 5 个 MR 作业。当它开始执行时，pig 会打印：

 BytesPerReducer=1000000000 maxReducers=999

并继续用一个 reducer 创建一个 MR-job：

 Neither PARALLEL nor default parallelism is set for this job. Setting number of reducers to 1

但是，对于从同一脚本生成的后续作业，它不会打印这一行，并且在其中一个中创建mapred.reduce.tasks减速器，在我的集群中是 4992。

这是一个已知的错误？或者我在这里错过了什么？

Answer 1

在你的猪脚本中使用它：

SET pig.exec.reducers.max 4000

阅读此内容以获取更多信息。