2

所以我有以下代码可以正常工作：

from  concurrent.futures import ProcessPoolExecutor 
import itertools

def grid_search_helper(vec_input):
    v1 = vec_input[0]
    v2 = vec_input[1]
    v3 = vec_input[2]
    d = {'v1' : v1, 'v2' : v2, 'v3' : v3}
    return(d)

idx = range(0,10)
cutoff = np.ndarray.tolist(np.arange(0.6,0.95,0.05))
opt = [2]

iters = itertools.product(idx, cutoff, opt)

with ProcessPoolExecutor(max_workers = 11) as executor:
        for  res in executor.map(grid_search_helper,iters):
            print(res)

然后我尝试 zip() 打印 ProcessPoolExecuter 正在处理的迭代，但是当我运行以下代码时没有打印任何内容：

from  concurrent.futures import ProcessPoolExecutor 
import itertools

def grid_search_helper(vec_input):
    v1 = vec_input[0]
    v2 = vec_input[1]
    v3 = vec_input[2]
    d = {'v1' : v1, 'v2' : v2, 'v3' : v3}
    return(d)

idx = range(0,10)
cutoff = np.ndarray.tolist(np.arange(0.6,0.95,0.05))
opt = [2]

iters = itertools.product(idx, cutoff, opt)

with ProcessPoolExecutor(max_workers = 11) as executor:
        for  res, itr in zip(executor.map(grid_search_helper,iters), iters):
            print(res, itr)

我不知道为什么。有人可以帮忙吗？

4

2 回答 2

2

这与您压缩函数和迭代器这一事实无关。

问题是您两次使用相同的迭代器：

#                                                      v       v
for res, itr in zip(executor.map(grid_search_helper, iters), iters):
    ...

第一次传递给 时map，它会被消耗掉。当它zip再次被传递给它时，它已经是空的，所以zip返回一个空的生成器，并且没有什么可以迭代。

用于itertools.tee创建同一个迭代器的两个副本。

it1, it2 = itertools.tee(itertools.product(idx, cutoff, opt))

with ProcessPoolExecutor(max_workers = 11) as executor:
    for  res, itr in zip(executor.map(grid_search_helper,it1), it2):
        print(res, itr)
于 2018-08-23T17:29:09.380 回答
1

当它试图执行zip(..., iters)之前填充iters的已经是空的，因为executor.map(grid_search_helper, iters)它已经消耗了它的所有项目。

所以你实际上将一个空迭代器传递给zip().

于 2018-08-23T17:29:41.020 回答