31
$word = strtolower($_GET['term']); 

$lev = 0;

$q = mysql_query("SELECT `term` FROM `words`"); 
while($r = mysql_fetch_assoc($q)) 
{ 
    $r['term'] = strtolower($r['term']); 

    $lev = levenshtein($word, $r['term']);

    if($lev >= 0 && $lev < 5)
    {
        $word = $r['term'];
    }
}

我怎样才能将所有这些移到一个查询中?不想查询所有术语并在 PHP 中进行过滤。

4

8 回答 8

59

您需要MySQL 中的 levenshtein 函数并查询

$word = mysql_real_escape_string($word);
mysql_qery("SELECT `term` FROM `words` WHERE levenshtein('$word', `term`) BETWEEN 0 AND 4");
于 2011-01-12T16:57:38.850 回答
11

在 MySQL 中有两种实现 Levenshtein 函数的方法。首先是创建一个 STORED FUNCTION,它的操作很像 STORED TRANSACTION,除了它有不同的输入和输出。这对于小型数据集来说很好,但对于接近数千行的任何数据来说都有些慢。

CREATE FUNCTION levenshtein( s1 VARCHAR(255), s2 VARCHAR(255) )
RETURNS INT
DETERMINISTIC

BEGIN
DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
DECLARE s1_char CHAR;
-- max strlen=255
DECLARE cv0, cv1 VARBINARY(256);
SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
IF s1 = s2 THEN
  RETURN 0;
ELSEIF s1_len = 0 THEN
  RETURN s2_len;
ELSEIF s2_len = 0 THEN
  RETURN s1_len;
ELSE
  WHILE j <= s2_len DO
    SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
  END WHILE;
  WHILE i <= s1_len DO
    SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
    WHILE j <= s2_len DO
    SET c = c + 1;
    IF s1_char = SUBSTRING(s2, j, 1) THEN
      SET cost = 0; ELSE SET cost = 1;
    END IF;
    SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
    IF c > c_temp THEN SET c = c_temp; END IF;
      SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
      IF c > c_temp THEN
        SET c = c_temp;
      END IF;
      SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
    END WHILE;
    SET cv1 = cv0, i = i + 1;
  END WHILE;
END IF;

RETURN c;

END//

将上述代码存储在 .sql 文件中并将其导入数据库,如下所示:

source /tmp/mysql_udf.sql

第二种方法是在 C/C++ 中实现一个用户定义函数,并将其作为共享库(*.so 文件)链接到 MySQL。此方法还使用 STORED FUNCTION 调用库,这意味着此方法或第一个方法的实际查询可能相同(假设两个函数的输入相同)。您可以在此处找到有关此方法的更多信息:http: //samjlevy.com/mysql-levenshtein-and-damerau-levenshtein-udfs/

使用其中任何一种方法,您的查询将类似于:

SELECT term FROM words WHERE levenshtein(term, 'term') < 5;

另外,请记住,“阈值”值应该相对于原始字长发生变化。最好用百分比值来考虑它,即一半的单词 = 50%,一半的 'term' = 2。

于 2012-04-29T09:47:39.353 回答
8

如果你有一个庞大的数据库,你可以先使用 SOUNDEX 过滤单词:

$word = strtolower(mysql_real_escape_string($_GET['term']));

$rs = mysql_query("SELECT LOWER(`term`) FROM `words` WHERE SOUNDEX(term) = SOUNDEX(" . $word . ")");

while ($row = mysql_fetch_assoc($rs)) { 

    $lev = levenshtein($word, $row['term']);

    ....

}

如果您有足够的时间玩 C 扩展或程序,您可能会获得更好的性能,但在应用真正的 levenshtein 之前过滤 mysql 上的记录将使事情变得更快,几乎不费吹灰之力。

于 2013-04-25T18:15:32.060 回答
6

如果您正在处理非常大的数据集,我发现在 PHP 中处理 Levenshtein 操作和排序比在 MySQL 中更有效。例如查询大约 1000 条记录:

MySQL(〜0.0050s)-> PHP Levenshtein(〜1.300s)

对比

MySQL Levenshtein( >= 5.000s) -> PHP( ~ 0.250s)

还有许多其他用于优化搜索引擎的选项,但如果您想使用 Levenshtein,请注意您将要处理的数据和您想要的延迟。

于 2014-08-11T21:05:06.227 回答
1

您可以使这段代码看起来更整洁,但@profitphp 是对的,如果没有 levenstein 库,您将无法在 MySQL 中执行此操作。

$word = strtolower($_GET['term']);

$q = mysql_uqery("SELECT LOWER(`term`) FROM `words`");

而($r = mysql_fetch_assoc($q)) {

    $lev = levenshtein($word, $r['term']);

    ……

}
于 2011-01-12T16:59:24.073 回答
1

我建议您将 levenshtein(链接: http ://www.artfulsoftware.com/infotree/queries.php#552 )的调用包括在您的查询中。

您应该使用 mysqli_query($q) 因为 mysql_query($q) 已被弃用,并且可能在未来的 php 版本中被删除!

$word = mysql_real_escape_string($word);
$query = "SELECT `term` FROM `words` WHERE levenshtein('$word', `term`)   BETWEEN 0 AND 4";
mysqli_qery($query);
于 2015-06-28T22:16:05.900 回答
0

我在 Oracle 中通过在可以调用的函数中实现 PL/SQL 中的算法来做到这一点。

于 2011-01-12T16:51:43.143 回答
-3

那是一个查询。如果您询问是否可以将 levenshtein 功能移至 mysql,则不能。

好的,你可以,但它并不比在 php 中更容易。

http://www.artfulsoftware.com/infotree/queries.php?&bw=1280#552

于 2011-01-12T16:49:23.473 回答