python - 将对象保存在内存中并避免重新加载泡菜

Question

我正在处理存储在 python 对象集合中的大量金融数据。我最初是从文本文件中获取数据，创建对象然后对它们进行腌制，因此我的机器人必须再次完成创建对象的过程。泡菜大小接近 1 GB。

加载泡菜大约需要 1 分 30 秒。我需要减少泡菜的加载量。我正在运行不同的模拟，停止和开始运行。因此，每次我重新运行模拟时，我都需要重新加载泡菜。

我试图通过创建一个单例来解决这个问题，并希望只加载一次泡菜。之后我希望我可以在其他“运行”中访问单例并且不需要重新加载它，因为它已经在内存中。但是，这是行不通的。我正在寻找一种将对象保留在内存中而无需重新加载泡菜的解决方案。有什么建议么？

Answer 1

你试过Pyro吗？据我了解，您需要类似内存计算管道之类的东西。这非常用于分布式系统上的内存数据处理（数据流）。它的工作方式类似于客户端-服务器架构。您可以创建一个脚本（服务器端），将您的 pickle 对象加载到内存中（仅一次）并等待来自客户端的远程调用（即使它们在同一台机器上）。你可以在这里找到一些例子：

• 托管 Pyro 对象：https ://pythonhosted.org/Pyro4/servercode.html
• 调用远程对象：https ://pythonhosted.org/Pyro4/clientcode.html

希望这会帮助你。