5

我目前正在编写一个基于已回答问题匹配用户的网络应用程序。我已经在一个查询中实现了我的匹配算法，并对其进行了调整，以至于计算 2 个用户之间的匹配百分比需要 8.2 毫秒。但是我的 webapp 必须获取用户列表并遍历执行此查询的列表。对于 5000 个用户，在我的本地计算机上花费了 50 秒。是否可以将所有内容放在一个查询中，该查询返回一列具有 user_id 的列和一列具有计算匹配的列？还是存储过程是一种选择？

我目前正在使用 MySQL，但如果需要，我愿意切换数据库。

对于任何对架构和数据感兴趣的人，我创建了一个 SQLFiddle：http ://sqlfiddle.com/#!2/84233/1

和我的匹配查询：

SELECT COALESCE(SQRT( (100.0*as1.actual_score/ps1.possible_score) * (100.0*as2.actual_score/ps2.possible_score) ) - (100/ps1.commonquestions), 0) AS perc
  FROM (SELECT SUM(imp.value) AS actual_score 
      FROM user_questions AS uq1
      INNER JOIN importances imp ON imp.id = uq1.importance
      INNER JOIN user_questions uq2 ON uq2.question_id = uq1.question_id AND uq2.user_id = 101
        AND (uq1.accans1 = uq2.answer_id 
          OR uq1.accans2 = uq2.answer_id
          OR uq1.accans3 = uq2.answer_id
          OR uq1.accans4 = uq2.answer_id)
      WHERE uq1.user_id = 1) AS as1, 
  (SELECT SUM(value) AS possible_score, COUNT(*) AS commonquestions
      FROM user_questions AS uq1
      INNER JOIN importances ON importances.id = uq1.importance
      INNER JOIN user_questions uq2 ON uq1.question_id = uq2.question_id AND uq2.user_id = 101
      WHERE uq1.user_id = 1) AS ps1,
  (SELECT SUM(imp.value) AS actual_score 
      FROM user_questions AS uq1
      INNER JOIN importances imp ON imp.id = uq1.importance
      INNER JOIN user_questions uq2 ON uq2.question_id = uq1.question_id AND uq2.user_id = 1
        AND (uq1.accans1 = uq2.answer_id 
          OR uq1.accans2 = uq2.answer_id
          OR uq1.accans3 = uq2.answer_id
          OR uq1.accans4 = uq2.answer_id)
      WHERE uq1.user_id = 101) AS as2, 
  (SELECT SUM(value) AS possible_score 
      FROM user_questions AS uq1
      INNER JOIN importances ON importances.id = uq1.importance
      INNER JOIN user_questions uq2 ON uq1.question_id = uq2.question_id AND uq2.user_id = 1
      WHERE uq1.user_id = 101) AS ps2
4

1 回答 1

1

我很无聊，所以：这是您查询的重写版本 - 基于您的架构的 PostgreSQL 端口 - 一次计算所有用户配对的匹配：

http://sqlfiddle.com/#!12/30524/6

我已经检查过，它为用户对 (1,5) 产生了相同的结果。

WITH
userids(uid) AS (
    select distinct user_id from user_questions
),
users(u1,u2) AS (
    SELECT u1.uid, u2.uid FROM userids u1 CROSS JOIN userids u2 WHERE u1 <> u2
),
scores AS (
        SELECT
            sum(CASE WHEN uq2.answer_id IN (uq1.accans1, uq1.accans2, uq1.accans3, uq1.accans4) THEN imp.value ELSE 0 END) AS actual_score,
            sum(imp.value) AS potential_score,
            count(1) AS common_questions,
            users.u1,
            users.u2
        FROM user_questions AS uq1
        INNER JOIN importances imp ON imp.id = uq1.importance
        INNER JOIN user_questions uq2 ON uq2.question_id = uq1.question_id
        INNER JOIN users ON (uq1.user_id=users.u1 AND uq2.user_id=users.u2)
        GROUP BY u1, u2
),
score_pairs(u1,u2,u1_actual,u2_actual,u1_potential,u2_potential,common_questions) AS (
    SELECT s1.u1, s1.u2, s1.actual_score, s2.actual_score, s1.potential_score, s2.potential_score, s1.common_questions
    FROM scores s1 INNER JOIN scores s2 ON (s1.u1 = s2.u2 AND s1.u2 = s2.u1)
    WHERE s1.u1 < s1.u2
)
SELECT
    u1, u2, 
    COALESCE(SQRT( (100.0*u1_actual/u1_potential) * (100.0*u2_actual/u2_potential) ) - (100/common_questions), 0) AS "match"
FROM  score_pairs;

你没有理由不能把它移植回 MySQL，因为 CTE 只是为了可读性而存在，它不会做任何你不能用FROM (SELECT ...). 没有WITH RECURSIVE从多个其他 CTE 引用的子句和 CTE。你会有一些可怕的嵌套查询，但这只是一个格式挑战。

变化：

  • 生成一组不同的用户
  • 自加入该组不同的用户以创建一组用户配对
  • 然后加入分数查询中的配对列表以生成分数表
  • 通过组合可能的分数 1 和可能分数 2、实际分数 1 和实际分数 2 的大量重复查询来生成分数表。
  • 然后在最终的外部查询中对其进行总结

我没有优化查询；正如所写，它在我的系统上运行 5 毫秒。在更大的数据上，您可能需要重组其中的一些或使用一些技巧，例如将一些 CTE 子句转换为SELECT ... INTO TEMPORARY TABLE临时表创建语句，然后在查询之前对其进行索引。

您也可能希望将users行集的生成移出 CTE 并FROM移入scores. 这是因为WITH需要充当子句之间的优化栅栏，因此数据库必须实现行并且不能使用诸如向上或向下推送子句之类的技巧。

于 2012-10-21T12:20:14.657 回答