mysql - mysql - 避免重复的最佳方法

Question

我对数据库游戏很陌生，所以请原谅我的无知。

我正在将数百万行加载到一个结构简单的 MySQL 数据库表中

SQLStr = "LOAD DATA LOCAL INFILE 'f:/Smallscale/02 MMToTxt/flat.txt'
  INTO TABLE `GMLObjects` FIELDS TERMINATED BY ','
  LINES STARTING BY 'XXX';"

目前，该表已设置为对一个字段没有重复项。

但是，我想知道是否可以更快地删除 no duplicates 规则并稍后通过使用ALTER TABLEorSELECT DISTINCT或某些此类查询来处理重复问题。

你觉得呢？你有没有什么想法？

PS 数据库引擎是 InnoDB

Answer 1

为什么首先在您的数据库中加载重复项？

尽早避免它们。这对性能更好，您不必编写复杂的查询。

Answer 2

您不能将具有重复项的表“更改”为没有重复项的表。

MySQL 不知道它应该删除哪些行。以后删除它们将意味着很多工作和麻烦，并且会产生删除的条目而没有任何好处。

所以尽早避免重复。