问题标签 [process-pool]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - multiprocessing.Pool.map_async() 的结果是否以与输入相同的顺序返回?
阅读multiprocessing.Pool 文档,我理解map_async
andapply_async
是 and 的两个版本,map
应该appy
更快,但这不能保证输入的处理顺序与提供的顺序相同。
但是,我不明白在调用时multiprocessing.pool.AsyncResult.get()
结果是否“重新排序”以匹配输入顺序,或者它们是否按照处理顺序返回?
python - 使用 ProcessPoolExecutor 时更新变量
当我打印MATCH_ID_TEAM
它时,它会打印值。但在这个过程中,它显示了我在顶部设置为空的默认值。
如何将变量的值更新到所有进程?
MATCH_ID
并且MATCH_ID_TEAM
是在我的类中使用的变量ESPNPlayerFree
操作系统Windows 10 64 位
IDE Pycharm
Python 版本3.6.1
python - 多进程池中的 apply_async 问题
我在 Python 中使用多处理池及其.apply_async()
同时运行多个工作程序的方法。
但是由于使用with
而不是任意创建实例而存在问题。
这是我到目前为止所做的:
常见部分代码片段:
第一个通过Python 2方式运行良好的代码片段:
出去:
通过Python 3方式运行良好的第二个代码片段:
出去:
额外的:
- 可以推断出Python 3的方式比Python 2的方式快。
问题:
现在问题出在这里,我想使用Python 3方法实现Python 2with
方式,但任务未完成:
出去:
但是,如果我在一些精简任务完成sleep(1)
后放置了一个(建立一个块):pool.apply_async(...)
出去:
我错过了什么?
python - 关于工作人员刷新的python多处理池通知
我正在使用 Python 2.7multiprocessing.Pool
来管理一个由 3 个工作人员组成的池。每个工作人员都相当复杂,并且在某些第三方代码中(可能)存在资源泄漏,导致连续运行 6-8 小时后出现问题。所以我想用maxtasksperchild
定期刷新工人。
我还希望每个工作人员都写入自己单独的日志文件。没有maxtasksperchild
我使用 sharedmultiprocessing.Value
为每个 worker 分配一个整数(0、1 或 2),然后使用该整数来命名日志文件。
一旦工作人员完成,maxtasksperchild
我想重用日志文件。因此,如果整个事情运行一个月,我只需要三个日志文件,而不是每个生成的工人的一个日志文件。
如果我可以传递一个回调(例如finalizer
,与当前支持的一起使用initializer
),这将是直截了当的。没有它,我看不到一个强大而简单的方法来做到这一点。
python - 使用并发期货通过多处理运行多个视频
我正在尝试使用 concurrent.futres.ProcessPoolExecuter 运行代码,但在运行视频时遇到下面提到的while true
错误class get_frames
下面提到的是我的实际代码:
对此的任何建议都会有很大帮助
python - python中具有多处理功能的任何代码都不起作用
我有一个简单的多处理代码
此代码重复出现相同的错误(如下所示)。不仅如此,任何内部调用多处理模块的库/函数(例如,reverse_geocoder,concurrent.futures 中的 ProcessPoolExecutor)都会显示相同的错误,而 ThreadPoolExecutor 运行得很好!!!我正在尝试在 Pycharm 中运行它,同样的代码在 Pycharm 中的另一台 PC 上运行良好请帮助。 错误
python - 想知道您是否可以在进程池 python 的任务中拥有多个功能
所以我从这个网站上看到了这个程序:https ://tutorialedge.net/python/concurrency/python-processpoolexecutor-tutorial/
我只是想知道您是否可以在任务下拥有多个功能。就像进程池只应该执行一项任务?因为我有一个程序对每个任务都有一个功能,并且想知道如何将它转换为进程池执行器。
任何帮助,将不胜感激。谢谢
python - 具有多个参数的 MultiProcess 函数
我正在深入研究 python 的多处理世界。
在观看了一些视频后,由于我的职能性质,我提出了一个问题。
这个函数有 4 个参数:
- 第一个参数是要读取的文件,因此,这是要读取的文件列表。
- 以下 2 个参数是两个不同的字典。
- 最后一个参数是可选参数“debug_mode”,需要设置为“True”
问题是:如何为函数指定其余参数?
提前致谢
python - 在 ProcessPoolExecutor 中杀死进程
我正在使用 PythonProcessPoolExecutor
并行运行多个进程并在它们中的任何一个完成时对其进行处理。然后我查看他们的输出,一旦他们中的至少一个给出令人满意的答案,我就想退出程序。
但是,这是不可能的,因为在调用时,pool.shutdown(wait=False)
我必须等待所有活动任务pool
完成,然后才能退出我的脚本。
有没有办法杀死所有剩余的活跃孩子并退出?此外,一旦至少有一个孩子返回我们正在等待的答案,是否有更好的方法来停止?