5

我有一个像这样工作的生成器函数（Python）

def Mygenerator(x, y, z, ...):
    while True:
        # code that makes two matrices based on sequences of input arrays
        yield (matrix1, matrix2)

我想要做的是添加这个生成器的输出。这条线完成了这项工作：

M1, M2 = reduce(lambda x, y: x[0] + y[0], x[1] + y[1], Mygenerator(x, y, z, ...))

我想将其并行化以加快计算速度。重要的是，Mygenerator 的输出在生成时会减少，因为list(Mygenerator(...))会占用太多内存。

4

1 回答 1

3

为了回答我自己的问题，我找到了一个似乎可以正常工作的解决方案：

首先，Mygenerator不再是生成器而是函数。此外，我现在不再循环遍历 x、y 和 z 的段，而是将一个段传递给函数：

def Myfunction(x_segment, y_segment, z_segment):
        # code that makes two matrices based on input arrays
        return (matrix1, matrix2)

multiprocessing.Pool与(generator) 函数一起使用imap似乎有效：

pool = multiprocessing.Pool(ncpus)
results = pool.imap(Myfunction, 
                    ( (x[i], y[i], z[i]) for i in range(len(x)) )
M1, M2 = reduce(lambda r1, r2: (r1[0] + r2[0], r1[1] + r2[1]), 
                    (result for result in results))
pool.close()
pool.join()

我将lambda 表达式中的 and 更改为andx以避免与其他同名变量混淆。当尝试使用发电机时， 我遇到了泡菜的一些麻烦。yr1r2multiprocessing

这个解决方案唯一令人失望的是它并没有真正加快计算速度。我想这与开销操作有关。使用 8 核时，处理速度提高了约 10%。当减少到 4 个核心时，速度翻了一番。这似乎是我能用我的特定任务做的最好的，除非有一些其他的方法来做并行化......

imap此处必须使用该函数，因为map它将在操作之前将所有返回值存储在内存中reduce，在这种情况下这是不可能的。

于 2014-11-11T20:19:41.990 回答