问题标签 [process-pool]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
917 浏览

python - multiprocessing.Pool.map_async() 的结果是否以与输入相同的顺序返回?

阅读multiprocessing.Pool 文档,我理解map_asyncandapply_async是 and 的两个版本,map应该appy更快,但这不能保证输入的处理顺序与提供的顺序相同。

但是,我不明白在调用时multiprocessing.pool.AsyncResult.get()结果是否“重新排序”以匹配输入顺序,或者它们是否按照处理顺序返回?

0 投票
1 回答
1155 浏览

python - 使用 ProcessPoolExecutor 时更新变量

当我打印MATCH_ID_TEAM它时,它会打印值。但在这个过程中,它显示了我在顶部设置为空的默认值。

如何将变量的值更新到所有进程?

MATCH_ID并且MATCH_ID_TEAM是在我的类中使用的变量ESPNPlayerFree

操作系统Windows 10 64 位

IDE Pycharm

Python 版本3.6.1

0 投票
1 回答
367 浏览

python - 多进程池中的 apply_async 问题

我在 Python 中使用多处理池及其.apply_async()同时运行多个工作程序的方法。

但是由于使用with而不是任意创建实例而存在问题。

这是我到目前为止所做的:


常见部分代码片段:


第一个通过Python 2方式运行良好的代码片段:

出去:


通过Python 3方式运行良好的第二个代码片段:

出去:

额外的:

  • 可以推断出Python 3的方式比Python 2的方式快。

问题:

现在问题出在这里,我想使用Python 3方法实现Python 2with方式,但任务未完成:

出去:

但是,如果我在一些精简任务完成sleep(1)后放置了一个(建立一个块):pool.apply_async(...)

出去:


我错过了什么?

0 投票
2 回答
801 浏览

python - 关于工作人员刷新的python多处理池通知

我正在使用 Python 2.7multiprocessing.Pool来管理一个由 3 个工作人员组成的池。每个工作人员都相当复杂,并且在某些第三方代码中(可能)存在资源泄漏,导致连续运行 6-8 小时后出现问题。所以我想用maxtasksperchild定期刷新工人。

我还希望每个工作人员都写入自己单独的日志文件。没有maxtasksperchild我使用 sharedmultiprocessing.Value为每个 worker 分配一个整数(0、1 或 2),然后使用该整数来命名日志文件。

一旦工作人员完成,maxtasksperchild我想重用日志文件。因此,如果整个事情运行一个月,我只需要三个日志文件,而不是每个生成的工人的一个日志文件。

如果我可以传递一个回调(例如finalizer,与当前支持的一起使用initializer),这将是直截了当的。没有它,我看不到一个强大而简单的方法来做到这一点。

0 投票
1 回答
101 浏览

python - 如何将“Value”实例提交给“ProcessPoolExecutor”?

我想使用共享状态ProcessPoolExecutor

代码:

但它卡住了,甚至不打印“我在这里”

0 投票
1 回答
628 浏览

python - 使用并发期货通过多处理运行多个视频

我正在尝试使用 concurrent.futres.ProcessPoolExecuter 运行代码,但在运行视频时遇到下面提到的while true错误class get_frames

下面提到的是我的实际代码:

对此的任何建议都会有很大帮助

0 投票
0 回答
137 浏览

python - python中具有多处理功能的任何代码都不起作用

我有一个简单的多处理代码

此代码重复出现相同的错误(如下所示)。不仅如此,任何内部调用多处理模块的库/函数(例如,reverse_geocoder,concurrent.futures 中的 ProcessPoolExecutor)都会显示相同的错误,而 ThreadPoolExecutor 运行得很好!!!我正在尝试在 Pycharm 中运行它,同样的代码在 Pycharm 中的另一台 PC 上运行良好请帮助。 错误

0 投票
1 回答
216 浏览

python - 想知道您是否可以在进程池 python 的任务中拥有多个功能

所以我从这个网站上看到了这个程序:https ://tutorialedge.net/python/concurrency/python-processpoolexecutor-tutorial/

我只是想知道您是否可以在任务下拥有多个功能。就像进程池只应该执行一项任务?因为我有一个程序对每个任务都有一个功能,并且想知道如何将它转换为进程池执行器。

任何帮助,将不胜感激。谢谢

0 投票
2 回答
1428 浏览

python - 具有多个参数的 MultiProcess 函数

我正在深入研究 python 的多处理世界。

在观看了一些视频后,由于我的职能性质,我提出了一个问题。

这个函数有 4 个参数:

  1. 第一个参数是要读取的文件,因此,这是要读取的文件列表。
  2. 以下 2 个参数是两个不同的字典。
  3. 最后一个参数是可选参数“debug_mode”,需要设置为“True”

问题是:如何为函数指定其余参数?

提前致谢

0 投票
1 回答
292 浏览

python - 在 ProcessPoolExecutor 中杀死进程

我正在使用 PythonProcessPoolExecutor并行运行多个进程并在它们中的任何一个完成时对其进行处理。然后我查看他们的输出,一旦他们中的至少一个给出令人满意的答案,我就想退出程序。

但是,这是不可能的,因为在调用时,pool.shutdown(wait=False)我必须等待所有活动任务pool完成,然后才能退出我的脚本。

有没有办法杀死所有剩余的活跃孩子并退出?此外,一旦至少有一个孩子返回我们正在等待的答案,是否有更好的方法来停止?