python - Python多处理进程和管道 - 700个进程合理吗？

Question

服务器运行 32 位 8 核的 Red Hat。

必须实例化的公司类是不可腌制的。

我尝试了线程，但达到 4 到 7 个并发线程会使性能下降到顺序处理的性能。这部分是由于我的无知，PySimpleClient 和底层 C++ 实现。

我尝试使用队列进行多处理，但这并不强大，也没有提高性能。

我目前正在成功运行 60 个多进程进程，每个进程都有一个管道。到目前为止，性能非常好，鲁棒性非常好。

但我至少需要 700 个进程。700合理吗？

Answer 1

我会说这在 32 位机器上是不合理的。我想在具有充足内存的 64 位机器上运行这种负载，以处理该数量的进程可能需要的任何开销。