我需要使用 sqlite3 和 python 执行大约 2.5 亿次插入。
我使用 SELECT UNION 包装了每 500 个插入,并且还完成了 CREATE INDEX。
但即便如此,它后来变得很慢,每小时执行不到 100 万次插入(大约每秒 300 次插入)
有什么办法可以显着加快速度吗?
我需要使用 sqlite3 和 python 执行大约 2.5 亿次插入。
我使用 SELECT UNION 包装了每 500 个插入,并且还完成了 CREATE INDEX。
但即便如此,它后来变得很慢,每小时执行不到 100 万次插入(大约每秒 300 次插入)
有什么办法可以显着加快速度吗?
这篇文章很好的解释了sqlite3中快速插入的问题。它带有不同方法的基准。
这是我读过的更好/最好的优化指南之一: 如何提高 sqlite 的性能
我最近花了一些时间将大型数据集的初始加载优化到 sqlite 中,其中的提示帮助很大。我建议只是通读一遍,对我做 ac/p 毫无意义。