1

我在 Amazon RDS db.r3.4xlarge 实例上运行 Postgres 9.4.4 - 16CPU，122GB 内存。我最近遇到了一个查询，它需要在一张大表（约 2.7 亿条记录）上进行相当直接的聚合。该查询需要 5 多个小时才能执行。

大表上的连接列和分组列定义了索引。我已经尝试通过将work_mem和temp_buffers设置为1GB来进行试验，但它帮助很大。

这是查询和执行计划。任何线索将不胜感激。

explain SELECT
largetable.column_group,
MAX(largetable.event_captured_dt) AS last_open_date,
.....   

FROM largetable

LEFT JOIN smalltable
ON smalltable.column_b = largetable.column_a

WHERE largetable.column_group IS NOT NULL

GROUP BY largetable.column_group

这是执行计划 -

GroupAggregate  (cost=699299968.28..954348399.96 rows=685311 width=38)
  Group Key: largetable.column_group
  ->  Sort  (cost=699299968.28..707801354.23 rows=3400554381 width=38)
        Sort Key: largetable.column_group
        ->  Merge Left Join  (cost=25512.78..67955201.22 rows=3400554381 width=38)
              Merge Cond: (largetable.column_a = smalltable.column_b)
              ->  Index Scan using xcrmstg_largetable_launch_id on largetable  (cost=0.57..16241746.24 rows=271850823 width=34)
                    Filter: (column_a IS NOT NULL)
              ->  Sort  (cost=25512.21..26127.21 rows=246000 width=4)
                    Sort Key: smalltable.column_b
                    ->  Seq Scan on smalltable  (cost=0.00..3485.00 rows=246000 width=4)
4

1 回答 1

1

你说大表上的join key和grouping key是有索引的，但是你没有提到小表上的joining key。

合并和排序是缓慢的一个重要来源。但是，我也担心您会返回约 700,000 行数据。这对你真的有用吗？什么情况下需要返回这么多数据，但等待 5 小时太长？如果您不需要输出所有数据，那么尽早进行过滤是您将实现的最大速度增益。

于 2015-11-30T01:20:42.487 回答