5

我正在尝试使用 PyFFTW 进行线程卷积，以便同时计算大量 2D 卷积。（不需要单独的进程，因为 GIL 是为 Numpy 操作发布的）。现在这里是这样做的规范模型：http: //code.activestate.com/recipes/577187-python-thread-pool/

(Py)FFTW 之所以如此之快，是因为它重用了计划。这些必须为每个线程单独设置，以避免访问冲突错误，如下所示：

class Worker(Thread):
    """Thread executing tasks from a given tasks queue"""
    def __init__(self, tasks):
        Thread.__init__(self)
        self.tasks = tasks
        self.daemon = True

        # Make separate fftw plans for each thread.
        flag_for_fftw='patient'      
        self.inputa = np.zeros(someshape, dtype='float32')
        self.outputa = np.zeros(someshape_semi, dtype='complex64')

        # create a forward plan.
        self.fft = fftw3.Plan(self.inputa,self.outputa, direction='forward', flags=[flag_for_fftw],nthreads=1)         

        # Initialize the arrays for the inverse fft.
        self.inputb = np.zeros(someshape_semi, dtype='complex64')
        self.outputb = np.zeros(someshape, dtype='float32')

        # Create the backward plan.
        self.ifft = fftw3.Plan(self.inputb,self.outputb, direction='backward', flags=[flag_for_fftw],nthreads=1)               
        self.start()

通过这种方式，可以将参数self.inputa, self.outputa, self.fft, self.inputb, self.outputb,传递self.ifft给 Worker 类的 run 方法中的实际卷积器。

这一切都很好，但我们不妨导入 ThreadPool 类：

from multiprocessing.pool import ThreadPool

但是我应该如何在 ThreadPool 中定义初始化程序以获得相同的结果？根据文档 http://docs.python.org/library/multiprocessing.html “每个工作进程在启动时都会调用初始化程序（*initargs）”。您可以在 Python 源代码中轻松检查这一点。

但是，当您设置线程池时，例如使用 2 个线程：

po = ThreadPool(2,initializer=tobedetermined)

然后你运行它，也许在某个循环中

po.apply_async(convolver,(some_input,))

如何通过初始化程序设置卷积器？如何让它在每个线程中使用单独的 FFTW 计划，而不为每个卷积重新计算 FFTW 计划？

干杯，亚历克斯。

4

1 回答 1

1

您可以使用使用线程本地存储 ( threading.local()) 初始化 PyFFTW 并记住结果的函数来包装卷积器调用

于 2011-08-30T09:35:25.807 回答