1

我有一个大约 50M 行和格式的表格：

CREATE TABLE `big_table` (
  `id` BIGINT NOT NULL,
  `t1` DATETIME NOT NULL,
  `a` BIGINT NOT NULL,
  `type` VARCHAR(10) NOT NULL,
  `b` BIGINT NOT NULL,
  `is_c` BOOLEAN NOT NULL,
  PRIMARY KEY (`id`),
  INDEX `a_b_index` (a,b)
) ENGINE=InnoDB;

然后我定义 table t2，没有索引：

Create table `t2` (
  `id` BIGINT NOT NULL,
  `a` BIGINT NOT NULL,
  `b` BIGINT NOT NULL,
  `t1min` DATETIME NOT NULL
 ) ENGINE=InnoDB DEFAULT CHARSET=latin1;

t2然后我使用来自的查询进行填充big_table（这将添加大约 12M 行）。

insert into opportunities
  (id, a,b,t1min)
  SELECT id,a,b,min(t1)
    FROM big_table use index (a_b_index)
    where type='SUBMIT' and is_c=1
   GROUP BY a,b;

我发现这个查询需要大约一分钟来处理 5000 个不同(a,b)的big_table.
由于有 12M 不同(a,b)，big_table因此在所有big_table.

出了什么问题？

如果我只是这样做，SELECT ...那么查询会在大约 2 秒内完成 5000 行。如果 I SELECT ... INTO OUTFILE ...，那么对于 5000 行，查询仍然需要 60 秒。

EXPLAIN SELECT ...给出：

id,select_type,table,type,possible_keys,key,key_len,ref,rows,Extra
1,SIMPLE,stdnt_intctn_t,index,NULL,a_b_index,16,NULL,46214255,"Using where"
4

2 回答 2

1

我发现问题在于GROUP_BY导致对big_table. 以下策略允许通过big_table. 首先，我们添加一个键t2：

Create table `t2` (
  `id` BIGINT NOT NULL,
  `a` BIGINT NOT NULL,
  `b` BIGINT NOT NULL,
  `t1min` DATETIME NOT NULL,
  PRIMARY KEY (a,b),
  INDEX `id` (id)
) ENGINE=InnoDB DEFAULT CHARSET=latin1;

然后我们填充t2使用：

insert into t2
  (id, a,b,t1min)
  SELECT id,a,b,t1
    FROM big_table
    where type='SUBMIT' and is_c=1
 ON DUPLICATE KEY UPDATE 
   t1min=if(t1<t1min,t1,t1min),
   id=if(t1<t1min,big_table.id,t2.id);

由此产生的加速是几个数量级。

于 2013-03-08T06:55:39.593 回答
0

group by 可能是问题的一部分。您正在 (a,b) 上使用索引，但未使用您的位置。我会有一个索引

（类型，is_c，a，b）

此外，您正在获得“ID”，但没有指定哪个......您可能想要执行 MIN(ID) 以获得一致的结果。

于 2013-03-04T20:40:28.123 回答