python - 多处理和内存问题

Question

所以我有一个脚本可以读取一个包含 700,000 行左右的文件。对于每一行，它返回从该行计算的值列表。在我尝试使用多处理之前，我使用了一个 for 循环并将每行的值增加到一个全局变量（因为最后我是求和）。不幸的是，对于多处理模块，我不能只向全局变量添加一些东西，因为它们是独立的进程。相反，我让每个进程返回我所追求的值，并使用 Pool.map 创建一个巨大的返回值列表。然后，我可以遍历该列表并获得我想要的总和。这是非常占用内存的。有什么建议么？我意识到这可能很难阅读，因此，如果需要，我可以澄清一下。谢谢！

Answer 1

在每个过程中保留一个累加器，然后最后将所有这些累加器相加。每个进程只需要存储一个值。