mysql - 大数据量能不能执行得更快【MySQL】

Question

有什么办法可以优化下一个查询：

EXPLAIN EXTENDED SELECT keyword_id, ck.keyword, COUNT( article_id ) AS cnt
FROM career_article_keyword
LEFT JOIN career_keywords ck
USING ( keyword_id ) 
WHERE keyword_id
IN (

SELECT keyword_id
FROM career_article_keyword
LEFT JOIN career_keywords ck
USING ( keyword_id ) 
WHERE article_id
IN (

SELECT article_id
FROM career_article_keyword
WHERE keyword_id =9
)
AND keyword_id <>9
)
GROUP BY keyword_id
ORDER BY cnt DESC

这里的主要任务是如果我有特定的keyword_id（CURRENT_KID），我需要找到曾经属于任何文章的所有关键字以及CURRENT_KID，并根据这些关键字的使用量对结果进行排序

表定义为：

mysql> show create table career_article_keyword;
+------------------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table                  | Create Table                                                                                                                                                                                                                                                                                                                                               |
+------------------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| career_article_keyword | CREATE TABLE `career_article_keyword` (
  `article_id` int(11) unsigned NOT NULL,
  `keyword_id` int(11) NOT NULL,
  UNIQUE KEY `article_id` (`article_id`,`keyword_id`),
  CONSTRAINT `career_article_keyword_ibfk_1` FOREIGN KEY (`article_id`) REFERENCES `career` (`menu_id`) ON DELETE CASCADE ON UPDATE CASCADE
) ENGINE=InnoDB DEFAULT CHARSET=utf8 |
+------------------------+------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

mysql> show create table career_keywords;
+-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| Table           | Create Table                                                                                                                                                                                                         |
+-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
| career_keywords | CREATE TABLE `career_keywords` (
  `keyword_id` smallint(5) unsigned NOT NULL AUTO_INCREMENT,
  `keyword` varchar(250) NOT NULL,
  PRIMARY KEY (`keyword_id`)
) ENGINE=InnoDB AUTO_INCREMENT=15 DEFAULT CHARSET=utf8 |
+-----------------+----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------+
1 row in set (0.00 sec)

“解释”的输出吓到我了

http://o7.no/J6ThIs

在大数据上，这个查询可以杀死一切:) 我能以某种方式让它更快吗？

谢谢。

score 2 · Accepted Answer

查看您的EXPLAIN输出，我担心您对子查询的使用导致索引的使用不理想。我觉得（没有任何理由——我很可能错了）重写使用JOIN可能会导致更优化的查询。

为此，我们需要了解您的查询的目的是什么。如果您的问题已经阐明它会有所帮助，但经过一番摸索后，我决定您的查询试图获取包含某个给定关键字的任何文章中出现的所有其他关键字的列表，以及所有文章的计数那些关键字出现在其中。

现在让我们分阶段重建查询：

获取“任何包含给定关键字的文章”（不用担心重复）：

SELECT ca2.article_id
FROM
       career_article_keyword AS ca2
WHERE
      ca2.keyword_id = 9;

获取“出现在[上述]中的所有其他关键字”

SELECT ca1.keyword_id
FROM
       career_article_keyword AS ca1
  JOIN career_article_keyword AS ca2 ON (ca2.article_id = ca1.article_id)
WHERE
      ca1.keyword_id <> 9
  AND ca2.keyword_id =  9
GROUP BY ca1.keyword_id;

获取“ [上述]，以及出现这些关键字的所有文章的计数”

SELECT ca1.keyword_id, COUNT(DISTINCT ca0.article_id) AS cnt
FROM
       career_article_keyword AS ca0
  JOIN career_article_keyword AS ca1 USING (keyword_id)
  JOIN career_article_keyword AS ca2 ON (ca2.article_id = ca1.article_id)
WHERE
      ca1.keyword_id <> 9
  AND ca2.keyword_id =  9
GROUP BY ca1.keyword_id
ORDER BY cnt DESC;

最后，我们想将表中匹配的关键字本身添加到输出career_keyword中：

SELECT ck.keyword_id, ck.keyword, COUNT(DISTINCT ca0.article_id) AS cnt
FROM
       career_keywords        AS ck 
  JOIN career_article_keyword AS ca0 USING (keyword_id)
  JOIN career_article_keyword AS ca1 USING (keyword_id)
  JOIN career_article_keyword AS ca2 ON (ca2.article_id = ca1.article_id)
WHERE
      ca1.keyword_id <> 9
  AND ca2.keyword_id =  9
GROUP BY ck.keyword_id -- equal to ca1.keyword_id due to join conditions
ORDER BY cnt DESC;

立即清楚的一件事是您的原始查询引用career_keywords了两次，而这个重写的查询仅引用了该表一次；仅此一项就可以解释性能差异 - 尝试删除对它的第二个引用（即它出现在您的第一个子查询中的位置），因为它在那里完全是多余的。

回顾这个查询，我们可以看到正在对以下列执行连接：

career_keywords.keyword_id在ck JOIN ca0

这个表定义了PRIMARY KEY (`keyword_id`)，所以有一个很好的索引可以用于这个连接。
career_article_keyword.article_id在ca1 JOIN ca2

该表定义UNIQUE KEY `article_id` (`article_id`,`keyword_id`)并且因为article_id是该索引中最左边的列，所以有一个很好的索引可用于该连接。
career_article_keyword.keyword_id在ck JOIN ca0和ca0 JOIN ca1

没有可用于此连接的索引：此表中定义的唯一索引在-article_id左侧有另一列，keyword_id因此 MySQLkeyword_id在不知道article_id. 我建议你创建一个新的索引，keyword_id它的最左边一列。

（对这个索引的需求同样可以通过查看原始查询来确定，您的两个最外层查询在该列上执行连接。）

mysql - 大数据量能不能执行得更快【MySQL】

1 回答 1

Related

Reference