8

我使用 Python 集合来存储唯一的对象。每个对象都有__hash__并被__eq__覆盖。

该集合包含近 200 000 个对象。该集本身需要近 4 GB 的内存。它在超过 5 GB 的机器上运行良好，但现在我需要在只有 3 GB 可用 RAM 的机器上运行脚本。

我用 C# 重写了一个脚本——实际上是从同一个源读取相同的数据，把它放到一个集合（HashSet）的 CLR 模拟中，而不是 4 GB，它花了将近 350 MB，而脚本执行的速度相对相同（接近 40 秒）但我必须使用 Python。

Q1：Python 是否有任何“磁盘持久化”设置或任何其他解决方法？我猜它只能将哈希/eq方法中使用的“关键”数据存储在内存中，其他所有内容都可以保存到磁盘。或者，Python 中可能有其他解决方法来拥有一个独特的对象集合，这些对象可能占用比系统中可用的内存更多的内存。

Q2：不太实际的问题：为什么python set 需要这么多的内存？

我在 64 位 Ubuntu 12.10 上使用标准 Python 2.7.3

谢谢你。

更新1：什么脚本：

  1. 阅读大量半结构化 JSON 文档（每个 JSON 由序列化对象和与其相关的聚合对象集合组成）

  2. 解析每个 JSON 文档以从中检索主对象和聚合集合中的对象。每个解析的对象都存储到一个集合中。Set 仅用于存储唯一的对象。首先我使用了一个数据库，但数据库中的唯一约束工作 x100-x1000 慢。每个 JSON 文档都被解析为 1-8 种不同的对象类型。每个对象类型都存储在它自己的集合中，以便在内存中只保存唯一的对象。

  3. 存储在集合中的所有数据都保存到具有唯一约束的关系数据库中。每个集合都存储在单独的数据库表中。

该脚本的整个想法是获取非结构化数据，从 JSON 文档中的聚合对象集合中删除重复项，并将结构化数据存储到关系数据库中。

更新 2：

2 delnan：我注释了所有代码行，并添加到不同的集合中，以保持所有其他人员（获取数据、解析、迭代）相同 - 脚本占用的内存少了 4 GB。

这意味着当将这 200K 对象添加到集合时 - 它们开始占用大量内存。该对象是来自 TMDB 的简单电影数据 - ID、流派列表、演员列表、导演列表、许多其他电影详细信息以及可能来自 Wikipedia 的大型电影描述。

4

3 回答 3

6

最好的方法可能是使您存储在集合中的对象更小。如果它们包含不必要的字段，请将它们删除。

为了减少一般对象开销，您还可以使用__slots__声明使用的字段：

class Person(object):
   __slots__ = ['name', 'age']
   def __init__(self):
      self.name = 'jack'
      self.age = 99
于 2013-03-21T18:59:33.317 回答
5

集合确实使用大量内存，但列表不会。

>>> from sys import getsizeof
>>> a = range(100)
>>> b = set(a)
>>> getsizeof(a)
872
>>> getsizeof(b)
8424
>>>

如果您使用集合的唯一原因是为了防止重复，我建议您改用列表。您可以通过在添加对象之前测试对象是否已在列表中来防止重复。它可能比使用内置的集合机制要慢，但它肯定会使用更少的内存。

于 2014-03-23T10:58:45.320 回答
3

尝试使用__slots__以减少内存使用量。

当我上次遇到大量对象的问题时，使用__slots__将内存使用量减少到 1/3。

这是一个关于__slots__您可能会感兴趣的问题。

于 2013-03-21T18:59:22.653 回答