python - 使用python并行处理函数

Question

我有一个大约需要 10 秒才能运行的过程。对于十个标题条目，以下函数将花费大约 100 秒：

for title in titles_to_update:
    run_update_procedure(title)

并行化此过程的最佳方法是什么。将

pool = Pool(2)
pool.map(run_update_procedure, list(titles_to_update))

是解决这个问题的最好方法吗？

Answer 1

如果您有备用内核在系统上使用，并且您在评论中的说明就是这种情况，那么.map这是一个不错的选择。顺便说一下，对于您描述的任务类型，我可能会使用.imap_unordered. 在此处查看文档。