php - 将大数据从txt插入mysql

Question

一个简单的问题：关于如何使用 php 快速将近 500 万个电子邮件地址从文本文件导入 mysql 数据库的任何想法？我的脚本运行良好，但它现在运行了 90 小时，并且只插入了 700.000 个条目。可悲的是，直到现在我才意识到我的 txt 文件中有 5M 行。有什么建议吗？提前致谢。

Answer 1

如果文件已经在您的服务器上，我不明白为什么您不只使用 mysql 提供的“加载数据文件”功能。

加载数据文件

LOAD DATA INFILE 语句以非常高的速度将文本文件中的行读取到表中。

至于唯一性，为什么不将 UNIQUE 约束添加到 mysql 表中？这样你就不需要检查唯一的约束了吗？

我自己没有尝试过，但我会尝试这样做。