hadoop - 如果我在 hive 的所有列上使用 distinct，将运行多少个 reducer？

Question

我正在运行一个配置单元查询，其中对所有选定的列都应用了 distinct，我注意到有几个 reducer 正在启动以运行相同的查询。谁能解释一下背后的原因？

 Example query:

> SELECT distinct
       seg.col1,
       seg.col2,
       seg.col3
FROM user.ag_user seg
Where ‘2018-05-06’ between start_date and end_date limit 5;

Answer 1

它可能比 x 查询导致 y 减速器稍微复杂一些

这个答案更详细地涵盖了默认情况（比我能做的更好）

默认减速器数量