Find centralized, trusted content and collaborate around the technologies you use most.
Teams
Q&A for work
Connect and share knowledge within a single location that is structured and easy to search.
我写了一个处理大量文本并将数据放入它的多级字典的python程序。结果,字典变得非常大(2GB 或以上),占用内存,并导致缓慢/内存错误。
所以我希望使用 sqlite3 而不是将数据放入 python dict 中。
但是想一想,sqlite3 的整个数据库必须在程序运行的整个过程中都可以访问。那么最后会不会导致内存被大db吃掉的同样结果呢?
对不起,我对记忆的理解有点笨拙。在我费心将我的程序移植到使用 db 之前,我想把事情弄清楚。
先感谢您。
SQLite 根据需要创建临时文件来存储尚未提交到数据库的数据。即使对于内存数据库,它也会这样做。
因此,当存储在 SQLite 数据库中时,2GB 的数据不会耗尽所有内存。