mysql - MySQL LOAD DATA INFILE 与 ON DUPLICATE KEY UPDATE

Question

对于将大量数据加载到 MySQL 中，LOAD DATA INFILE是迄今为止最快的选择。不幸的是，虽然这可以以 INSERT IGNORE 或 REPLACE 的方式使用，但目前不支持 ON DUPLICATE KEY UPDATE。

但是，ON DUPLICATE KEY UPDATE比REPLACE. 后者在存在重复项时执行删除和插入。这为密钥管理带来了开销。此外，自动增量 ID 在替换时不会保持不变。

ON DUPLICATE KEY UPDATE使用 LOAD DATA INFILE 时如何模拟？

Answer 1

这些步骤可用于模拟此功能：

1. 创建一个新的临时表。

   CREATE TEMPORARY TABLE temporary_table LIKE target_table;
   

2. 或者，从临时表中删除所有索引以加快速度。

   SHOW INDEX FROM temporary_table;
   DROP INDEX `PRIMARY` ON temporary_table;
   DROP INDEX `some_other_index` ON temporary_table;
   

3. 将 CSV 加载到临时表中

   LOAD DATA INFILE 'your_file.csv'
   INTO TABLE temporary_table
   FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
   (field1, field2);
   

4. 使用 ON DUPLICATE KEY UPDATE 复制数据

   SHOW COLUMNS FROM target_table;
   INSERT INTO target_table
   SELECT * FROM temporary_table
   ON DUPLICATE KEY UPDATE field1 = VALUES(field1), field2 = VALUES(field2);
   

5. 删除临时表

   DROP TEMPORARY TABLE temporary_table;
   

对于任何给定的表，使用SHOW INDEX FROM并且SHOW COLUMNS FROM此过程可以自动化。

Answer 2

我们可以在Jan 共享的答案中用下面的单个查询替换第一个（两个步骤）。

对于步骤 1 和 2，我们可以创建具有相同引用结构且没有任何索引的新表。

CREATE TEMPORARY TABLE temporary_table SELECT * FROM target_table WHERE 1=0;

代替。

1. 创建一个新的临时表。

   CREATE TEMPORARY TABLE temporary_table LIKE target_table;
   

2. 或者，从临时表中删除所有索引以加快速度。

   SHOW INDEX FROM temporary_table;
   DROP INDEX `PRIMARY` ON temporary_table;
   DROP INDEX `some_other_index` ON temporary_table;