19

我有一个物化的路径驱动公告板。它使用以下查询按顺序获取消息，

SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100

whereroot是id线程的根消息，并且path是物化路径。

但是，我使这个查询使用索引的努力都没有成功。

mysql> explain extended select path from Board order by root desc, path asc limit 100;
+-------+---------------+----------+---------+------+-------+----------+----------------------------+
| type  | possible_keys | key      | key_len | ref  | rows  | filtered | Extra
+-------+---------------+----------+---------+------+-------+----------+-----------------------------
| index | NULL          | rootpath | 261     | NULL | 21998 |   100.00 | Using index; Using filesort

目前它显示列下表中所有行的数量rows。我想知道，有没有办法减少这个数字或以其他方式优化查询？

CREATE TABLE `Board` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `path` varchar(255) NOT NULL DEFAULT '0',
  `root` int(11) NOT NULL DEFAULT '0',
  PRIMARY KEY (`id`),
  KEY `root` (`root`),
  KEY `path` (`path`),
  KEY `rootpath` (`root`,`path`)
)

查询的主要问题是分页 - 我需要从上一页最后一个消息旁边的消息开始第二页。这就是为什么我想要它直接的方式 - 没有 sublelects 和东西。
当前的设置虽然不是很好，因为它从线程中间开始第二页，但至少它是非常合乎逻辑的。

4

3 回答 3

21

您面临的问题在这篇文章中得到了很好的解释。重要的部分是：

最典型的情况是当你想按两个不同方向的列排序时：… ORDER BY price ASC, date DESC LIMIT 10 如果你在 (price,date) 上按升序索引，你将无法很好地优化这个查询 –将需要外部排序（“filesort”）。如果您能够在价格 ASC 上建立索引，则日期 DESC 相同的查询可以按区域排序顺序检索数据。

该文章还提到了解决该问题的有效方法：将第二个“顺序”子句颠倒：

但是，您可以通过使用“reverse_date”列并将其用于排序来解决此问题。使用 MySQL 5.0，您甚至可以使用触发器将其更新为实际日期更新，因此它变得不那么难看。事实上，这就是为什么您会在 Wikipedia 表结构中看到“reverse_timestamp”字段的原因。

也来自官方MySQL 文档：

在某些情况下，MySQL 不能使用索引来解析 ORDER BY，尽管它仍然使用索引来查找与 WHERE 子句匹配的行。这些情况包括：

.....

你混合 ASC 和 DESC：

SELECT * FROM t1 ORDER BY key_part1 DESC, key_part2 ASC;

作为建议，您最好有一个reversed_root列并且Integer.MAX_VALUE - root在（reversed_root，路径）上有一个索引。然后你可以有一个查询：

SELECT * FROM Board ORDER by reversed_root ASC,path ASC LIMIT 0,100
于 2012-05-02T12:44:25.723 回答
15

您的原始查询

SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;

创建一个名为 BoardDisplayOrder 的表来保存 root 的负值，在其中添加名为 rootinv 的新列。

首先是示例数据和您的原始查询：

mysql> drop database if exists YourCommonSense;
Query OK, 2 rows affected (0.06 sec)

mysql> create database YourCommonSense;
Query OK, 1 row affected (0.00 sec)

mysql> use YourCommonSense
Database changed
mysql> CREATE TABLE `Board` (
    ->   `id` int(11) NOT NULL AUTO_INCREMENT,
    ->   `path` varchar(255) NOT NULL DEFAULT '0',
    ->   `root` int(11) NOT NULL DEFAULT '0',
    ->   PRIMARY KEY (`id`),
    ->   KEY `root` (`root`),
    ->   KEY `path` (`path`),
    ->   KEY `rootpath` (`root`,`path`)
    -> );
Query OK, 0 rows affected (0.11 sec)

mysql> INSERT INTO Board (path,root) VALUES
    -> ('Rolando Edwards',30),
    -> ('Daniel Edwards',30),
    -> ('Pamela Edwards',30),
    -> ('Dominiuqe Edwards',40),
    -> ('Diamond Edwards',40),
    -> ('Richard Washington',50),
    -> ('George Washington',50),
    -> ('Synora Washington',50);
Query OK, 8 rows affected (0.05 sec)
Records: 8  Duplicates: 0  Warnings: 0

mysql> SELECT * FROM Board;
+----+--------------------+------+
| id | path               | root |
+----+--------------------+------+
|  2 | Daniel Edwards     |   30 |
|  3 | Pamela Edwards     |   30 |
|  1 | Rolando Edwards    |   30 |
|  5 | Diamond Edwards    |   40 |
|  4 | Dominiuqe Edwards  |   40 |
|  7 | George Washington  |   50 |
|  6 | Richard Washington |   50 |
|  8 | Synora Washington  |   50 |
+----+--------------------+------+
8 rows in set (0.00 sec)

mysql> SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
+----+--------------------+------+
| id | path               | root |
+----+--------------------+------+
|  7 | George Washington  |   50 |
|  6 | Richard Washington |   50 |
|  8 | Synora Washington  |   50 |
|  5 | Diamond Edwards    |   40 |
|  4 | Dominiuqe Edwards  |   40 |
|  2 | Daniel Edwards     |   30 |
|  3 | Pamela Edwards     |   30 |
|  1 | Rolando Edwards    |   30 |
+----+--------------------+------+
8 rows in set (0.00 sec)

mysql> EXPLAIN SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
| id | select_type | table | type  | possible_keys | key      | key_len | ref  | rows | Extra                       |
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
|  1 | SIMPLE      | Board | index | NULL          | rootpath | 261     | NULL |    8 | Using index; Using filesort |
+----+-------------+-------+-------+---------------+----------+---------+------+------+-----------------------------+
1 row in set (0.00 sec)

mysql>

接下来，使用 rootinv 和涉及 rootinv 的索引创建表 BoardDisplayOrder：

mysql> CREATE TABLE BoardDisplayOrder LIKE Board;
Query OK, 0 rows affected (0.09 sec)

mysql> ALTER TABLE BoardDisplayOrder DROP INDEX root;
Query OK, 0 rows affected (0.11 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> ALTER TABLE BoardDisplayOrder DROP INDEX path;
Query OK, 0 rows affected (0.09 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> ALTER TABLE BoardDisplayOrder DROP INDEX rootpath;
Query OK, 0 rows affected (0.08 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> ALTER TABLE BoardDisplayOrder ADD COLUMN rootinv int(11) NOT NULL;
Query OK, 0 rows affected (0.17 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root);
Query OK, 0 rows affected (0.11 sec)
Records: 0  Duplicates: 0  Warnings: 0

mysql> SHOW CREATE TABLE BoardDisplayOrder \G
*************************** 1. row ***************************
       Table: BoardDisplayOrder
Create Table: CREATE TABLE `boarddisplayorder` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `path` varchar(255) NOT NULL DEFAULT '0',
  `root` int(11) NOT NULL DEFAULT '0',
  `rootinv` int(11) NOT NULL,
  PRIMARY KEY (`id`),
  KEY `rootpathid` (`rootinv`,`path`,`id`,`root`)
) ENGINE=InnoDB DEFAULT CHARSET=latin1
1 row in set (0.00 sec)

mysql>

然后，填充 BoardDisplayOrder：

mysql> INSERT INTO BoardDisplayOrder (id,path,root,rootinv)
    -> SELECT id,path,root,-root FROM Board;
Query OK, 8 rows affected (0.06 sec)
Records: 8  Duplicates: 0  Warnings: 0

mysql> SELECT * FROM BoardDisplayOrder;
+----+--------------------+------+---------+
| id | path               | root | rootinv |
+----+--------------------+------+---------+
|  7 | George Washington  |   50 |     -50 |
|  6 | Richard Washington |   50 |     -50 |
|  8 | Synora Washington  |   50 |     -50 |
|  5 | Diamond Edwards    |   40 |     -40 |
|  4 | Dominiuqe Edwards  |   40 |     -40 |
|  2 | Daniel Edwards     |   30 |     -30 |
|  3 | Pamela Edwards     |   30 |     -30 |
|  1 | Rolando Edwards    |   30 |     -30 |
+----+--------------------+------+---------+
8 rows in set (0.00 sec)

mysql>

现在，针对 BoardDisplayOrder 运行查询，但在 rootinv 上没有 DESC：

mysql> SELECT id,path,root FROM BoardDisplayOrder ORDER by rootinv, path LIMIT 0,100;
+----+--------------------+------+
| id | path               | root |
+----+--------------------+------+
|  7 | George Washington  |   50 |
|  6 | Richard Washington |   50 |
|  8 | Synora Washington  |   50 |
|  5 | Diamond Edwards    |   40 |
|  4 | Dominiuqe Edwards  |   40 |
|  2 | Daniel Edwards     |   30 |
|  3 | Pamela Edwards     |   30 |
|  1 | Rolando Edwards    |   30 |
+----+--------------------+------+
8 rows in set (0.00 sec)

mysql> EXPLAIN SELECT id,path,root FROM BoardDisplayOrder ORDER by rootinv, path LIMIT 0,100;
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
| id | select_type | table             | type  | possible_keys | key        | key_len | ref  | rows | Extra       |
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
|  1 | SIMPLE      | BoardDisplayOrder | index | NULL          | rootpathid | 269     | NULL |    8 | Using index |
+----+-------------+-------------------+-------+---------------+------------+---------+------+------+-------------+
1 row in set (0.00 sec)

mysql>

试试看！！！

警告

这很容易做到，因为 root 是 INT。

如果 root 是 VARCHAR，则 rootinv 必须是字符触发器。换句话说，

  • A->Z
  • B->Y
  • ...
  • M->N
  • N->M
  • ...
  • Y->B
  • Z->A

这原则上适用于您需要执行 DESC 的任何字段。问题源于 MySQL 没有在索引中将键内部排序为 ASC 或 DESC。索引中的所有内容都在升序。这就是为什么当您在 中看到处理程序统计信息时SHOW GLOBAL STATUS LIKE 'handler%';，您会看到以下内容：

等等。

根据当前的 MySQL 文档

index_col_name 规范可以以 ASC 或 DESC 结尾。这些关键字被允许用于指定升序或降序索引值存储的未来扩展。目前，它们被解析但被忽略；索引值始终按升序存储。

试试看！！！

更新 2012-05-04 06:54 EDT

@frail 对我的回答的评论

ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root) 对我来说似乎没有必要，ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path) 就足够了

我的解决方案的原因ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root)是提供一个覆盖索引。在这种情况下，覆盖索引将：

  • 总是有检索所需的列
  • 将提高解释计划的质量，因为
    • 查询永远不会从表中读取数据以进行数据检索
    • 查询将只从索引中读取数据检索
    • 导致索引范围扫描

想想原来的查询，

SELECT * FROM Board ORDER by root DESC, path ASC LIMIT 0,100;

这需要检索三列 path、id 和 root。因此，它们需要在索引中。当然，指数规模的增加将是一种权衡。如果 Board 表很大，如果可以更快地检索，有些人不会担心空间。如果根路径索引只是 (rootinv,path)，那么每次索引范围扫描都将伴随着对剩余列的表的 ref 查找。这就是我选择的原因ALTER TABLE BoardDisplayOrder ADD INDEX rootpathid (rootinv,path,id,root);

于 2012-05-02T16:46:48.810 回答
5

在这种情况下，数据本身不适合以您需要的方式进行检索，创建一个包含您需要的信息的附加列可能是合适的——这将允许您按所需的顺序进行检索。

在这种情况下尤其合适，因为数据本身似乎在您保存后并没有更新。一旦您的消息发布后，它们就不会更新（或者从我最初的阅读来看是这样）。

假设您走这条路，我建议的步骤是：

  • 向表中添加一个新列root_path。
  • 执行此更新语句update Board set root_path = root + path。（您可能必须根据现有列的数据类型进行调整。）
  • 每当您向表中添加新行时，也要添加此新列。（这可以通过触发器来处理，尽管我会警惕触发器，因为当人们更改代码的其他部分时它们可能会被忽略。）

然后，您应该能够在该新列上设置索引并针对该列编写您的选择——如您所愿地点击您的索引。

我相信即使其中一个键必须以相反的顺序排序，这也会起作用。

CREATE TABLE foo
(
  id serial NOT NULL,
  int_field integer DEFAULT 0,
  varchar_field character varying(255),
  composite_field character varying(255),
  CONSTRAINT foo_pkey PRIMARY KEY (id )
);

CREATE INDEX composite_field_idx ON foo (composite_field);

INSERT INTO foo (int_field, varchar_field, composite_field) VALUES 
(1,'t','t1'),
(2,'z','z2'),
(2,'w','w2'),
(4,'u','u4'),
(5,'u','u5'),
(5,'x','x5'),
(7,'v','v7');

explain select * from foo order by composite_field desc;

运行上面的代码，解释语句应该显示被引用的键composite_field_idx。

查询的结果是：

select * from foo order by composite_field desc;

 id | int_field | varchar_field | composite_field 
----+-----------+---------------+-----------------
  2 |         2 | z             | z2
  6 |         5 | x             | x5
  3 |         2 | w             | w2
  7 |         7 | v             | v7
  5 |         5 | u             | u5
  4 |         4 | u             | u4
  1 |         1 | t             | t1
于 2012-05-02T13:23:24.660 回答