我使用 Python 集合来存储唯一的对象。每个对象都有__hash__
并被__eq__
覆盖。
该集合包含近 200 000 个对象。该集本身需要近 4 GB 的内存。它在超过 5 GB 的机器上运行良好,但现在我需要在只有 3 GB 可用 RAM 的机器上运行脚本。
我用 C# 重写了一个脚本——实际上是从同一个源读取相同的数据,把它放到一个集合(HashSet)的 CLR 模拟中,而不是 4 GB,它花了将近 350 MB,而脚本执行的速度相对相同(接近 40 秒)但我必须使用 Python。
Q1:Python 是否有任何“磁盘持久化”设置或任何其他解决方法?我猜它只能将哈希/eq方法中使用的“关键”数据存储在内存中,其他所有内容都可以保存到磁盘。或者,Python 中可能有其他解决方法来拥有一个独特的对象集合,这些对象可能占用比系统中可用的内存更多的内存。
Q2:不太实际的问题:为什么python set 需要这么多的内存?
我在 64 位 Ubuntu 12.10 上使用标准 Python 2.7.3
谢谢你。
更新1:什么脚本:
阅读大量半结构化 JSON 文档(每个 JSON 由序列化对象和与其相关的聚合对象集合组成)
解析每个 JSON 文档以从中检索主对象和聚合集合中的对象。每个解析的对象都存储到一个集合中。Set 仅用于存储唯一的对象。首先我使用了一个数据库,但数据库中的唯一约束工作 x100-x1000 慢。每个 JSON 文档都被解析为 1-8 种不同的对象类型。每个对象类型都存储在它自己的集合中,以便在内存中只保存唯一的对象。
存储在集合中的所有数据都保存到具有唯一约束的关系数据库中。每个集合都存储在单独的数据库表中。
该脚本的整个想法是获取非结构化数据,从 JSON 文档中的聚合对象集合中删除重复项,并将结构化数据存储到关系数据库中。
更新 2:
2 delnan:我注释了所有代码行,并添加到不同的集合中,以保持所有其他人员(获取数据、解析、迭代)相同 - 脚本占用的内存少了 4 GB。
这意味着当将这 200K 对象添加到集合时 - 它们开始占用大量内存。该对象是来自 TMDB 的简单电影数据 - ID、流派列表、演员列表、导演列表、许多其他电影详细信息以及可能来自 Wikipedia 的大型电影描述。