2

我有一个包含以下表格的数据仓库：

主要的

约 800 万条记录

CREATE TABLE `main` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`cid` mediumint(8) unsigned DEFAULT NULL, //This is the customer id
`iid` mediumint(8) unsigned DEFAULT NULL, //This is the item id
`pid` tinyint(3) unsigned DEFAULT NULL, //This is the period id
`qty` double DEFAULT NULL,
`sales` double DEFAULT NULL,
`gm` double DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `idx_pci` (`pid`,`cid`,`iid`) USING HASH,
KEY `idx_pic` (`pid`,`iid`,`cid`) USING HASH
) ENGINE=InnoDB AUTO_INCREMENT=7978349 DEFAULT CHARSET=latin1

时期

该表大约有 50 条记录，并具有以下字段

  • ID
  • 月
  • 年

顾客

这有大约 23,000 条记录和以下文件

  • ID
  • number //这个字段是唯一的
  • name //这只是一个描述字段

以下查询运行速度非常快（不到 1 秒）并返回大约 2,000：

select count(*) 
from mydb.main m 
INNER JOIN mydb.period p ON p.id = m.pid 
INNER JOIN mydb.customer c ON c.id = m.cid 
WHERE p.year = 2013 AND c.number = 'ABC';

但是这个查询要慢得多（超过 45 秒），这与前面的相同，但求和而不是计数：

select sum(sales)
from mydb.main m 
INNER JOIN mydb.period p ON p.id = m.pid 
INNER JOIN mydb.customer c ON c.id = m.cid 
WHERE p.year = 2013 AND c.number = 'ABC';

当我解释每个查询时，我看到的唯一区别是，在“count()”查询中，“Extra”字段显示“Using index”，而对于“sum()”查询，该字段为 NULL。

解释 count() 查询

| id | select_type | table | type  | possible_keys        | key          | key_len | ref                 | rows | Extra       |
|  1 | SIMPLE      | c     | const | PRIMARY,idx_customer | idx_customer | 11      | const               |    1 | Using index |
|  1 | SIMPLE      | p     | ref   | PRIMARY,idx_period   | idx_period   | 4       | const               |    6 | Using index |
|  1 | SIMPLE      | m     | ref   | idx_pci,idx_pic      | idx_pci      | 6       | mydb.p.id,const     |    7 | Using index |

解释 sum() 查询

| id | select_type | table | type  | possible_keys        | key          | key_len | ref                 | rows | Extra       |
|  1 | SIMPLE      | c     | const | PRIMARY,idx_customer | idx_customer | 11      | const               |    1 | Using index |
|  1 | SIMPLE      | p     | ref   | PRIMARY,idx_period   | idx_period   | 4       | const               |    6 | Using index |
|  1 | SIMPLE      | m     | ref   | idx_pci,idx_pic      | idx_pci      | 6       | mydb.p.id,const     |    7 | NULL        |
  • 为什么 count() 比 sum() 快这么多？不应该对两者都使用索引吗？
  • 我该怎么做才能使 sum() 更快？

提前致谢！

编辑

所有表都显示它正在使用 Engine InnoDB

另外，作为旁注，如果我只是执行“SELECT *”查询，它会运行得非常快（不到 2 秒）。我希望'SUM（）'不应该花费比这更长的时间，因为 SELECT * 无论如何都必须检索行......

解决了

这是我学到的：

  • 由于销售字段不是索引的一部分，它必须从硬盘驱动器中检索记录（这可能很慢）。
  • 我对此不太熟悉，但看起来 I/O 性能可以通过切换到 SSD（固态驱动器）来提高。我将不得不对此进行更多研究。
  • 现在，我想我将创建另一层摘要以获得我正在寻找的性能。
  • 我将主表上的索引重新定义为 (pid,cid,iid,sales,gm,qty)，现在 sum() 查询运行得非常快！

谢谢大家！

4

2 回答 2

5

索引是关键行的列表。

当您进行count()查询时，可以忽略数据库中的实际数据，只使用索引。

当您进行sum(sales)查询时，必须从磁盘读取每一行以获取销售数据，因此速度要慢得多。

此外，可以批量读取索引，然后在内存中进行处理，而磁盘访问将随机破坏驱动器，试图从磁盘中读取行。

最后，索引本身可能具有计数摘要（以帮助生成计划）

更新

您的表上实际上有三个索引：

PRIMARY KEY (`id`),
KEY `idx_pci` (`pid`,`cid`,`iid`) USING HASH,
KEY `idx_pic` (`pid`,`iid`,`cid`) USING HASH

所以你只有列id, pid, cid,的索引iid。（顺便说一句，大多数数据库都足够聪明，可以组合索引，因此您可能可以对索引进行一些优化）

如果您添加了另一个这样KEY idx_sales(id,sales)的键可以提高性能，但考虑到销售价值可能在数字上分布，您将为更新增加额外的性能成本，这可能是一件坏事

于 2013-06-17T13:37:26.277 回答
1

简单的答案是count()只计算行数。这可以通过索引来满足。

需要识别每一行然后sum()获取页面以获取sales列。这增加了很多开销——每行大约加载一页。

如果添加sales到索引中，那么它也应该很快，因为它不必获取原始数据。

于 2013-06-17T13:40:09.800 回答