1

我在 hadoop 集群上使用 Hive。每当我尝试运行配置单元查询时，它总是显示为

Stage-1 的 Hadoop 作业信息：reducer 数量：1

我使用了以下 Hive 配置：

hive.exec.reducers.bytes.per.reducer=1000000000
hive.exec.reducers.max=999

请告诉我如何增加数量减少器。

谢谢。

4

2 回答 2

2

确保您已完成以下几点：

您的 mapred.reduce.tasks 默认为 -1。通过将此属性设置为 -1，Hive 将自动计算出减速器的数量。

没有分组的 hive 查询将仅使用 1 个 reducer。

另请注意，当 mapred.job.tracker 为“本地”时，hadoop 默认将 mapred.reduce.tasks 的值设置为 1。

于 2013-03-11T13:27:23.640 回答
0

您是否尝试设置 mapred.reduce.tasks 参数？

于 2013-03-11T11:45:37.013 回答