python - 如何在“joblib”Python 库中共享变量

Question

from joblib import Parallel, delayed

def func(v):
    temp.append(v)
    return

temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

我想使共享内存变量。但是 temp 的值为空 []。我该怎么做？

对于其他方法，我尝试了 pickle.dump 并加载。但是有一个锁问题。请给我建议！

Answer 1

from joblib import Parallel, delayed

def func(v):
    return v

temp = Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

delayed收集func列表中返回的输出并在完成时返回。

Answer 2

您需要使用multiprocessing.Manager.list，例如：

from joblib import Parallel, delayed
from multiprocessing import Manager

manager = Manager()
temp = manager.list()

def func(v, temp):
    temp.append(v)
    return

_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))

temp[:]：

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]