mysql - MYSQL LOAD DATA INFILE 忽略重复行（自动增量为主键）

Question

我在使用 LOAD DATA INFILE 命令时遇到了一些麻烦，因为我想忽略数据库中已经存在的行。如果我有一个包含如下数据的表，

id  |name   |age
--------------------
1   |aaaa   |22
2   |bbbb   |21
3   |bbaa   |20
4   |abbb   |22
5   |aacc   |22

其中 id 是自动增量值。我拥有的 csv 文件包含如下数据，

"cccc","14"
"ssee","33"
"dddd","22"
"aaaa","22"
"abbb","22"
"dhgg","34"
"aacc","22"

我想忽略行，

    "aaaa","22"
    "abbb","22"
    "aacc","22"

并将其余的上传到表中。我尚未将所有内容上传到表的查询如下，

    LOAD DATA INFILE 'member.csv'
    INTO TABLE tbl_member
    FIELDS TERMINATED BY ','
           ENCLOSED BY '"'
           ESCAPED BY '"'
           LINES TERMINATED BY '\n'
    (name, age);

请帮助我完成这项任务..将不胜感激..我尝试了很多链接但没有帮助:(

Answer 1

在 age 列上创建一个 UNIQUE 索引，然后：

LOAD DATA INFILE 'member.csv'
IGNORE INTO TABLE tbl_member
FIELDS TERMINATED BY ','
ENCLOSED BY '"'
ESCAPED BY '"'
LINES TERMINATED BY '\n'
(name, age);

Answer 2

一种方法是使用临时表。上传到这里并使用 SQL 从临时表中更新 tbl_member。

INSERT INTO tbl_member
SELECT Field1,Field2,Field3,... 
FROM temp_table
WHERE NOT EXISTS(SELECT * 
             FROM tbl_member 
             WHERE (temp_table.Field1=tbl_member.Field1 and
                   temp_table.Field2=tbl_member.Field2...etc.)
            )

Answer 3

您可以在多个列上创建唯一索引。LOAD DATA 不会在所有这些列上插入与现有行匹配的行。

例如 ALTER TABLE tbl_member ADD UNIQUE unique_index(name,age)