问题标签 [multiprocessing]

在 x86 的实模式下，需要使用哪些指令在多处理器系统中的不同处理器上运行代码？

（我正在用汇编程序编写一些预启动代码，需要设置某些 CPU 寄存器，并在实际操作系统启动之前在系统中的每个 CPU 上执行此操作。）

我有一个非常大的（只读）数据数组，希望由多个进程并行处理。

我喜欢这个Pool.map函数，并想用它来并行计算该数据上的函数。

我看到可以使用ValueorArray类在进程之间使用共享内存数据。但是当我尝试使用它时，我会RuntimeError: 'SynchronizedString objects should only be shared between processes through inheritance在使用 Pool.map 函数时得到一个：

这是我正在尝试做的一个简化示例：

谁能告诉我我在这里做错了什么？

所以我想做的是在进程池中创建新创建的共享内存分配数组后将它们传递给进程。

具体来说，我需要调用一个 exec 版本来维护当前工作目录并将标准输出发送到与调用 exec 的程序相同的终端。我还有一个需要以某种方式传递的字符串参数向量，我想知道我将如何去做所有这些。有人告诉我，所有这一切都只能通过fork 和 exec来实现，并且由于 google 上严重缺乏文档，我一直无法让 exec 部分正常工作。

我在寻找什么 exec 方法可以实现这一点，我该如何称呼它？

I use Python 2.5.4. My computer: CPU AMD Phenom X3 720BE, Mainboard 780G, 4GB RAM, Windows 7 32 bit.

I use Python threading but can not make every python.exe process consume 100% CPU. Why are they using only about 33-34% on average?.

I wish to direct all available computer resources toward these large calculations so as to complete them as quickly as possible.

EDIT: Thanks everybody. Now I'm using Parallel Python and everything works well. My CPU now always at 100%. Thanks all!

当我使用以下代码时，池结果总是返回超时，我在做什么逻辑上不正确？

我知道这个错误，并且会认为它会在 python 2.6.4 中修复？

我有使用 psycopg2 与 postgres 数据库交互的 GUI。我在多处理进程中有数据库连接，并通过多处理队列发送 SQL，并通过另一个队列接收。

问题是速度非常非常慢。一个简单的从小表（30 行）中选择 * 可能需要 1/10 秒，也可能需要超过一秒。

有没有人知道为什么它这么慢？

新信息：它在 winxp 上运行良好，代码完全相同，所以间歇性延迟只发生在我的 linux 机器上（ubuntu 9.10）

更多信息：删除选择后，它似乎不是问题。

这是 db 类的主要部分。

在GUI中我有这个：

我想在 python 中使用 mutliprocessing 模块创建一个进程，但确保它在创建子进程的进程退出后继续运行。

我可以使用 subprocess 模块和 Popen 获得所需的功能，但我想将我的代码作为函数运行，而不是作为脚本运行。我想这样做的原因是为了简化创建 pyro（python 远程对象）对象。我想使用多处理在单独的进程中启动 pyro 对象请求处理程序，但是我希望主进程退出，而支持 pyro 对象的进程继续运行。

我正在尝试使用multiprocessing'sPool.map()功能同时分配工作。当我使用以下代码时，它工作正常：

但是，当我在更面向对象的方法中使用它时，它就不起作用了。它给出的错误信息是：

当以下是我的主程序时会发生这种情况：

以下是我的someClass课：

任何人都知道问题可能是什么，或者解决它的简单方法？

我遇到了很多我想与multiprocessing模块并行的“令人尴尬的并行”项目。但是，它们通常涉及读取大文件（大于 2gb），逐行处理它们，运行基本计算，然后写入结果。使用 Python 的多处理模块拆分文件并处理它的最佳方法是什么？应该使用Queue还是JoinableQueue使用multiprocessing？还是Queue模块本身？或者，我应该使用 将可迭代的文件映射到进程池multiprocessing吗？我已经尝试过这些方法，但是逐行分发数据的开销是巨大的。我已经通过使用确定了一个轻量级管道过滤器设计cat file | process1 --out-file out1 --num-processes 2 | process2 --out-file out2，它通过了第一个过程的一定百分比')，但我希望有一个完全包含在 Python 中的解决方案。

令人惊讶的是，Python 文档并没有建议这样做的规范方法（尽管multiprocessing文档中关于编程指南的部分很长）。

谢谢，文斯

附加信息：每行的处理时间各不相同。有些问题很快，几乎不受 I/O 限制，有些受 CPU 限制。受 CPU 限制的非依赖任务将从并行化中获得优势，因此即使将数据分配给处理功能的低效方式在挂钟时间方面仍然是有益的。

一个典型的例子是一个脚本，它从行中提取字段，检查各种按位标志，并将带有某些标志的行以全新格式写入新文件。这似乎是一个 I/O 绑定问题，但是当我使用带有管道的廉价并发版本运行它时，它快了大约 20%。当我使用池和地图运行它时，或者在其中排队时，multiprocessing它总是慢 100% 以上。

SQL Server 是否同步以兼容许多进程？我是否必须进行同步才能与数据库一起使用，以便同时使用多个进程？