5

以下是更大的 PHP 脚本的一部分，该脚本使用CSV 文件和客户端 ID字段作为输入从 MySQL 数据库添加或禁用用户。

涉及两个表，users和users_clients。后者保持用户和客户端之间的关系，因为一个用户可以属于多个客户端。


这是表的结构

用户结构（它有更多的字段）

id        | int(11) (primary key)
user      | varchar(100)
pass      | varchar(100)
category  | int(11)
date      | timestamp
name      | varchar(100)
email     | varchar(255)

用户索引

SEARCH    | user        | FULLTEXT
SEARCH    | name        | FULLTEXT
SEARCH    | email       | FULLTEXT

users_clients结构

id_user   | int(11)
id_client | int(11)
status    | enum('active','inactive')


这是从 CSV 文件添加每个用户的脚本的基本流程：

  1. 检查该客户端的用户是否存在。

    SELECT 
    LOWER(user)
FROM
    users u
    INNER JOIN users_clients uc ON u.id = uc.id_user
WHERE
    u.user = '$user'
    and uc.id_client = $id_client

  2. 如果不存在，请将其添加到数据库中。

    INSERT INTO 
    users ($fields,id_client)
VALUES 
    ($values,'$id_operation')

  3. 获取插入用户的 id。我知道我可以在这里使用mysql_insert_id之类的东西，但是竞争条件呢？

    SELECT
    u.id as id
FROM
    users u
WHERE
    u.user = '$user'
    and u.id_client = '$id_operation'

  4. 将用户与相应的客户端关联。

    INSERT INTO
    users_clients (id_user, id_client) 
VALUES
    ('$id_user','$id_client')

表中当前有 400.000 个用户。该脚本需要 10 多分钟来处理一个有 500 个用户的 CVS。

您将如何改进它以使其更快？

提前致谢。

PD：如果你想查看完整的功能，可以在pastebin获得。

4

2 回答 2

6 
INSERT INTO table (id,a,b,c) VALUES (5454,1,2,3)
ON DUPLICATE KEY
UPDATE table SET foo WHERE id=xyz;
  1. 在数据库中设置索引
  2. 使用 mysqli 而不是 mysql
  3. 收集你想要插入的所有东西，并使用准备好的语句/存储过程来完成，比如这里How to insert an array into a single MySQL Prepared statement w/ PHP and PDO
  4. 不要做 500 次选择，简单地获取整个数据库并通过 foreach/while 循环处理它，检查你需要的东西
  5. 使用类似上面的构造

重要提示：对于上述语句，列id应该有一个唯一索引！

于 2012-06-13T18:26:29.393 回答
2

将 INSERT 包装到事务中，不用担心，mysql_insert_id()除非您切换到另一个数据库连接，否则它是完全安全的。

还可以将所有查询包装到事务中，从而大幅提高速度。

于 2012-06-13T18:28:09.930 回答