10

在 python 中，它提供了很多方法来在模块 multiprocessing 中的进程之间进行通信Pipe，Queue, Value,Array和Manager. 其中哪一个是更好的选择？

4

1 回答 1

8

如果要实现消息传递，请使用管道和队列。如果要实现共享内存，请使用 Value 和 Array。如果您想向多个进程公开面向对象的接口，请使用管理器。

Pipe适用于一对一通信或字节级协议：

  • 管道可以是双向的（“双工”）或单向的
  • Pipe 不是并发安全的：只有一个进程可以使用 Pipe 的同一端；1对1通信好，否则需要锁
  • 管道可以传输可选的 Python 对象或原始字节
  • 无法指定缓冲区大小

Queue类似于单向管道，但可以在多对多场景中工作：

  • 队列是单向的：先进先出
  • 队列是并发安全的：多个进程可能使用队列的同一端；所以当有多个生产者或多个消费者时很好
  • 队列可能只传输可选择的 Python 对象
  • 可以指定队列的最大大小
  • “无论何时使用队列，都需要确保所有已放入队列的项目最终都会在进程加入之前被删除。”

队列是使用管道和一些锁/信号量实现的。

Value和Array：

  • 提供对共享数据的同步访问
  • 仅适用于 C 数据类型 ( ctypes)

经理：

  • 可用于各种数据类型：它们返回与底层（共享）对象公开相同方法的代理对象
  • 可以处理远程访问

Value并且Array是一种轻量级的共享内存方法。根据我的经验，使用SyncManagerand的开销AutoProxy 可能很大。Value如果您可以使用 a或 an解决您的问题Array，请使用它们。SyncManager将面向对象的接口公开给多个进程可能很有用，除非它不被太频繁地调用。

于 2014-02-24T16:09:31.353 回答