mysql - MYSQL，排序很慢

Question

我有两张桌子。一个是用户表，其主键是用户 ID，另一个表是使用外键引用用户表。

User 表只有一个条目（目前），而另一个表有 100 万个条目。

以下加入让我发疯：

 SELECT p0_.*, p1_.*
 FROM photo p0_, User p1_
 WHERE p0_.user_id = p1_.user_id
 ORDER BY p0_.uploaddate DESC Limit 10 OFFSET 100000

该查询在具有 order by 的非常快的机器上需要 12 秒，而没有 order by 则需要 0.0005 秒。

我在 user_id (IDX_14B78418A76ED395) 上有一个索引，在 user_id 和 uploaddate 上有一个复合索引 ("search2")。

EXPLAIN 显示以下内容：

+----+-------------+-------+------+------------------------------+----------------------+---------+---------------------+-------+---------------------------------+
| id | select_type | table | type | possible_keys                | key                  | key_len | ref                 | rows  | Extra                           |
+----+-------------+-------+------+------------------------------+----------------------+---------+---------------------+-------+---------------------------------+
|  1 | SIMPLE      | p1_   | ALL  | PRIMARY                      | NULL                 | NULL    | NULL                |     1 | Using temporary; Using filesort |
|  1 | SIMPLE      | p0_   | ref  | IDX_14B78418A76ED395,search2 | IDX_14B78418A76ED395 | 4       | odsfoto.p1_.user_id | 58520 |                                 |
+----+-------------+-------+------+------------------------------+----------------------+---------+---------------------+-------+---------------------------------+

表定义：

CREATE TABLE `photo` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`user_id` int(11) NOT NULL,
`album_id` int(11) DEFAULT NULL,
`exif_id` int(11) DEFAULT NULL,
`title` varchar(50) COLLATE utf8_unicode_ci NOT NULL,
`width` int(11) NOT NULL,
`height` int(11) NOT NULL,
`uploaddate` datetime NOT NULL,
`filesize` int(11) DEFAULT NULL,
`path` varchar(200) COLLATE utf8_unicode_ci NOT NULL,
`originalFilename` varchar(200) COLLATE utf8_unicode_ci NOT NULL,
`mimeType` varchar(200) COLLATE utf8_unicode_ci NOT NULL,
`description` longtext COLLATE utf8_unicode_ci,
`gpsData_id` int(11) DEFAULT NULL,
`views` int(11) DEFAULT NULL,
`likes` int(11) DEFAULT NULL,
PRIMARY KEY (`id`),
UNIQUE KEY `UNIQ_14B78418B0FC9251` (`exif_id`),
UNIQUE KEY `UNIQ_14B7841867E96507` (`gpsData_id`),
KEY `IDX_14B78418A76ED395` (`user_id`),
KEY `IDX_14B784181137ABCF` (`album_id`),
KEY `search_idx` (`uploaddate`),
KEY `search2` (`user_id`,`uploaddate`),
KEY `search3` (`uploaddate`,`user_id`)
) ENGINE=InnoDB  DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;


CREATE TABLE `user` (
`user_id` int(11) NOT NULL,
`photoCount` int(11) NOT NULL,
`photoViews` int(11) NOT NULL,
`photoComments` int(11) NOT NULL,
`photoLikes` int(11) NOT NULL,
`username` varchar(255) COLLATE utf8_unicode_ci NOT NULL,
PRIMARY KEY (`user_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;

我能做些什么来加快这个查询？

score 44 · Accepted Answer

似乎您正在遭受 MySQL 无法进行后期行查找的困扰：

尝试这个：

SELECT  p.*, u.*
FROM    (
        SELECT  id
        FROM    photo
        ORDER BY
                uploaddate DESC, id DESC
        LIMIT   10
        OFFSET  100000
        ) pi
JOIN    photo p
ON      p.id = pi.id
JOIN    user u
ON      u.user_id = p.user_id

score 2 · Accepted Answer

你有两个问题：

你需要创建一个INDEX(user_id, uploaddate)这将大大提高查询的效率。
您需要找到一种解决方法来使用LIMIT 10 OFFSET 100000. MySQL 正在创建一个包含 100,000 条记录的记录集，然后将最后 10 条记录拉到最后……这是非常低效的。

https://www.percona.com/blog/2006/09/01/mysql-order-by-limit-performance-optimization/

score 1 · Accepted Answer

你需要一个单独的索引uploaddate。uploaddate只有当它是第一列时，这种排序才会利用复合索引。您也可以尝试将 user_id 添加到 ORDER BY：

    ....      
    ORDER BY p0_.user_id, p0_.uploaddate

score 0 · Accepted Answer

首先尝试在没有连接的情况下根据主键获取结果，并使用结果再次查询结果。
例如：

$userIds=mysql::select("select user_id from photo ORDER BY p0_.uploaddate DESC Limit 10 OFFSET 100000");

$photoData=mysql::select("SELECT p0_. , p1_. FROM photo p0_, User p1_ WHERE p0_.user_id = p1_.user_id and p0_.user_id in ($userIds->user_id) order by p0_.uploaddate");

在这里，我们将语句分为两部分：
1.我们可以根据主键轻松排序和获取，并且没有连接。
2.根据id和order by获取查询结果只在有限的列上，我们可以在更短的时间内检索数据

score -1 · Accepted Answer

使用Quassnoi答案从 30 秒到 0.015 秒/0.000 秒！这就是我所说的MySql专业知识！我从我的个人项目中删除了一个 Join（不加入自身）

Select ser.id_table, ser.id_rec, ser.relevance, cnt, title, description, sell_url, medium_thumb,  
        unique_id_supplier, keywords width, height, media_type 
from (    
        Select ser.id_rec, ser.id_table, ser.relevance, ser.cnt 
        from searchEngineResults ser     
        where thisSearch = 16287     
    order by  ser.relevance desc, cnt desc, id_rec 
    ) ser 
join photo_resell sou on sou.id = ser.id_rec 
#join searchEngineResults ser on ser.id_rec = tmp.id_rec 
limit 0, 9

mysql - MYSQL，排序很慢

5 回答 5

Related

Reference