问题标签 [multiprocess]

在我的应用程序中，我想启动另一个进程，它有 3 个事件。如何触发/触发事件，或者只是调用另一个进程中的函数？我还想将一些对象传递给另一个进程（即我的表单文本框的处理程序）。

这个例子看起来很完美，但我可以在没有 tcp 的情况下这样做吗？即：通过管道等。如果我错了，请纠正我，但 eventwaithandle 对我来说不是解决方案，因为每个 (3) 事件都需要在自己的线程上阻塞。

先感谢您，

丹尼尔

我目前正在尝试从多个进程登录到单个文件，但我遇到了很多麻烦。我花了无数个小时在网上寻找——stackoverflow 和谷歌，但没有想出任何具体的东西。

我已阅读：在 Python 中使用多处理时我应该如何记录？

我一直在尝试使用 zzzeek 的代码，但它并没有为我写入文件。我没有具体的方法——我只是在尽我所能尝试。

你们有没有人让它工作并有示例代码，或者你有另一种方法。我需要将多个进程记录到同一个文件中。我还想将各种类的任何错误记录到同一个文件中。然而，我对简单地让多进程工作感到满意。

谢谢

I have this script and it does work it has 2 separate processes that spawn listener threads to kill the process when kill is sent to the listener via a pipe.

Id like to not need a separate listener function hard coded for every process I call. I was thinking about passing global variables when the thread is spawned. The global variables are really the only differences between the listener functions. Thanks guys!

我有一个遗传算法，它的适应度函数是一个繁琐的模拟环境。该代码绝对受 CPU 限制，在 64 位 python 3.3 上运行，因此我实现multiprocessing.starmap_async了并行化。

而且它工作得很好，比串行效率大大提高。在我的处理器上，Intel i7 CPU @ 2.40 GHz（16GB RAM）：我注意到 4 个进程的运行时间为 8 到 9 秒（2 个进程更慢，串行更慢）。

但是，这仅使用了我的处理器的 65% 到 73%。
将进程计数增加到 6 会利用 95% 到 100% 的处理器，但运行时间为 11 秒。内存仍然在 20% 左右

将此计数增加到 8，处理器始终保持在 100%，但运行时间现在为 12 秒。内存刚刚好。

我不能发布所有内容，但下面是多处理调用（删除了参数）。我有什么办法可以在不减速的情况下利用更多的处理器吗？我也很感激任何帮助理解为什么会发生这种现象。

多处理调用：

模拟工人：

I have been working on this bit of script and I am having issues sending a kill message to a the control_listener nor does it seem to get kill from the kill_timer thread

For some reason I can't get the control_listener to trigger it seems to go into an unending loop.

我正在制作一个脚本来运行多个线程实例。

运行超过 3 个并发线程集时，我不断收到错误，它们主要与管道有关。如何杀死多个单独的进程？有一个更好的方法吗？

如果我使用超过 2 个线程运行它，我会收到随机错误，例如

或这个

当消息传递时，它们偶尔会发生，然后两个线程中的一个将停止，但另一个将继续运行。

我希望能够在进行多件事情的情况下运行它，比如总共 16 个并发线程，它们是几种不同类型中的一种。我真正需要做的就是停止并可靠地启动它们。我不需要同步作业，也不需要复杂的进程间通信。有什么建议么？我可以看看的例子？

下面的代码似乎没有同时运行，我不确定为什么：

该config变量只是在_run()函数之外定义的字典。所有的进程似乎都被创建了——但它并不比我用一个进程创建的快。基本上，函数中发生的事情run_**_normalizers()是从数据库（SQLAlchemy）中的队列表中读取数据，然后发出一些 HTTP 请求，然后运行规范化器的“管道”来修改数据，然后将其保存回数据库。我来自 JVM 领域，那里的线程“繁重”并且经常用于并行性 - 我对此有点困惑，因为我认为多进程模块应该绕过 Python 的 GIL 的限制。

此代码用于启动和停止各种不同线程类型的多个副本。我会先说我尝试使用管道来控制线程，但不断收到与管道有关的随​​机内存错误。这是一个工厂的原型，用于生产多个线程类型的多个副本，因此队列方法对我来说似乎也不实用，尽管如果我缺少某些东西，我会全神贯注。所以我的最新计划是为每个线程和线程终止条件使用具有不同条目的全局字典。IEsub[Alive] subKill["kill"]

然而由于某种原因，control_listener进程产生的线程不会触发终止条件并且不会读取全局变量。

我有这个多进程脚本的问题，我在我在这里找到的那​​个之后建模它 http://broadcast.oreilly.com/2009/04/pymotw-multiprocessing-part-2.html

这是我运行它时遇到的错误：

我知道它在哪里，但是我从已知的良好代码中获取了该进程调用，所以我认为这不是语法错误。有什么帮助吗？

这是代码，这些是虚拟类，最终将被更有用的东西取代。我想要 while 循环做的是从队列中提取数据以查看是否丢弃了毒丸。如果不是，我想触发 else 语句中的任何内容。但是由于某种原因，它会等到它得到一个毒丸，并且只执行杀死条件 if 语句

如果需要，其余代码是：

请注意，除了打印不同的东西外，它import_2是相同的。import_1重点是证明处理不同线程类型的能力。