7

我有一大堆查询并使用 levenshtein 来计算拼写错误，现在 levenshtein 导致 mysql 占用全部 cpu 时间。我的查询是 UNION 语句中的全文搜索 + levenshtein。sql1 是我当前的查询，sql2 只是全文搜索，速度快且不使用太多 cpu 时间，最后一个将达到峰值！

你们中的任何人都有其他方法来获取拼写错误吗？请不要回答规范化数据，我已经想到了，但不适用于我的数据，因为我无法预先进行匹配/计算并创建一个带有索引的单独表。

            $sql1 = "(SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE)) UNION (SELECT s.* FROM (SELECT levenshtein(prop_value, 'usama bin laden') AS dist, sanction_id, prop_type, prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3) ORDER BY sanction_id";

        $sql2 = "SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE) ORDER BY sanction_id";

        $sql3 = "SELECT s.* FROM (SELECT levenshtein(prop_value, 'usama bin laden') AS dist, sanction_id, prop_type, prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3";
4

1 回答 1

5

如果您只与 MySQL 相关联，则没有一个简单的解决方案。

通常这是使用专门的 ngram 索引来解决快速候选查找过滤，然后仅在 10-50 个候选上计算 levensthein，这比为所有对计算 levensthein 更快。

Solr/Lucene 等专门的全文搜索引擎内置了此功能。

PostgreSQL 有 pg_trgm contrib 模块 (http://www.postgresql.org/docs/9.0/static/pgtrgm.html) 就像一个魅力。

您甚至可以在 MySQL 中使用全文索引来模拟这一点，但是您必须从所有文档中收集单词并将它们转换为 ngram，在它们上创建全文索引，然后将它们全部组合在一起以进行快速查找。这给冗余、同步带来了各种麻烦……不值得你花时间。

于 2011-02-05T23:56:10.243 回答