14

情况如下：我有一个巨大的对象需要加载到内存中。如此之大，以至于如果它被加载两次，它将超出我机器上的可用内存（不，我无法升级内存）。我也不能把它分成任何更小的部分。为简单起见，假设对象为 600 MB，而我只有 1 GB 的 RAM。我需要从在多个进程中运行的 Web 应用程序中使用此对象，并且我无法控制它们的生成方式（第三方负载均衡器会这样做），因此我不能仅仅依赖于创建对象在一些主线程/进程中，然后产生子进程。这也消除了使用诸如 POSH 之类的东西的可能性，因为这依赖于它自己的自定义 fork 调用。我也不能使用诸如 SQLite 内存数据库、mmap 或 posix_ipc 之类的东西，sysv_ipc 和 shm 模块，因为它们充当内存中的文件，并且这些数据必须是我使用它的对象。使用其中一个我必须将其作为文件读取，然后将其转换为每个单独进程和 BAM 中的对象，由于我只是试图加载第二个副本，因此超出机器的内存限制会导致分段错误。

必须有某种方式将 Python 对象存储在内存中（而不是作为文件/字符串/序列化/腌制）并使其可以从任何进程访问。我只是不知道它是什么。我已经查看了 StackOverflow 和 Google，但找不到答案，所以我希望有人能帮助我。

4

3 回答 3

5

http://docs.python.org/library/multiprocessing.html#sharing-state-between-processes

查找共享内存或服务器进程。重新阅读您的帖子后，服务器进程听起来更接近您想要的。

http://en.wikipedia.org/wiki/Shared_memory

于 2011-12-12T02:35:42.190 回答
2

必须有某种方式将 Python 对象存储在内存中（而不是作为文件/字符串/序列化/腌制）并使其可以从任何进程访问。

这不是工作中的方式。Python 对象引用计数和对象的内部指针在多个进程中没有意义。

如果数据不必是实际的 Python 对象，您可以尝试处理存储在 mmap() 或数据库等中的原始数据。

于 2011-12-12T03:09:23.903 回答
1

我会将其实现为一个 C 模块，该模块会被导入到每个 Python 脚本中。然后这个大对象的接口将用 C 或 C 和 Python 的某种组合来实现。

于 2011-12-12T03:08:10.423 回答