php - 识别存储在 MySQL 中的重复标题和/或 URL（RSS 文章）

Question

我正在将来自众多 RSS 提要的文章收集到 MySQL 数据库中（只是来自实际提要的标题和链接），并且我想确保在重新检查提要时不会两次输入同一篇文章。我预计在表中存储多达 200,000 个条目。

这将是检查重复项的最佳方法：

1. 使 URL 成为数据库中的唯一字段，
2. 为每篇文章创建一个新的唯一标识符（如 SHA1 URL 和/或标题），
3. 别的东西？

编辑：感谢大家确认#1。

Answer 1

UNIQUE钥匙就是为此而设计的。

如果您想批量插入但可能有重复的错误，请使用INSERT IGNORE

Answer 2

在您的 3 个选项中，1是唯一可行的选项，无需额外工作。

选项 2 和 3 都需要做更多的事情。坚持UNIQUE插入。