python - 在多个 Python 进程之间共享字典的最佳方法是什么？

Question

所有进程都会读取和写入这个字典。我希望对共享字典的操作尽可能快（大约在 50 微秒以下）。

使用 multiprocessing.Manager 共享字典对我来说不够快。

score 1 · Accepted Answer

50μs 相当宽松。

您可以将字典键视为在 memcached 数据存储中吗？

这个 2009 年的基准测试比较显示 python-memcache 足够快 - http://amix.dk/blog/post/19471

还有 dogpile.cache - http://pypi.python.org/pypi/dogpile.cache - 可以用 memcached 支持。

不确定从字符串转换为 python 对象的速度会是多少。

score -2 · Accepted Answer

只是使用我认为通常的互斥锁和锁，不是吗？“线程”库中的 lock.acquire()、lock.release() API 应该有所帮助，http ://docs.python.org/3.3/library/threading.html

但我不认为你会赢得更快的速度，因为你的设计似乎受到 Python 全局解释器锁 (GIL) 的限制，这可能是这里的障碍。

我可能错了-

2 回答 2