0

我有三个脚本，scheduler.py这是一个基于multiprocessing.Processand的并行任务运行multiprocessing.Pipe器，第二个脚本是simulation.pyx一个包含一些我想通过并行执行的类和函数的脚本scheduler.py，最后是一个小的主脚本，我在其中创建一个实例并行化类scheduler.py，将它传递给类simulation.pyx并运行整个事情。

当目标并行函数位于顶层时，simulation.pyx一切正常，但是一旦我尝试使用scheduler.py类函数，simulation.pyx就会出现酸洗错误。

由于代码有几千行，我只给出一些概念代码：

small_main_script.py：

import simulation
import scheduler


if __name__ == '__main__':

    main = simulation.Main()
    scheduler = scheduler.parallel()
    main.simulate(scheduler)


simulation.pyx：

import scheduler

cdef do_something_with_job(job):
...

cdef class Main:
    cdef public ...
    ...

    def __init__(self):
    ...

    def some_function(self,job):
        ...
        do_something_with_job(job)
        ...

    def simulate(self, scheduler):

        for job in job_list:
            scheduler.add_jobs(job)

        scheduler.target_function = self.some_function

        scheduler.run_in_parallel()

问题是，如果我使用无用的虚拟函数，比如

def sleep(job):
    time.sleep(2)

并将它放在顶层，即在类之外，并行化工作正常，但是一旦我把它放在类中，Main我就会得到一个酸洗错误。如果我使用在类中定义的真实目标函数Main并且我不想将其移动到顶层，我会得到同样的错误。以下是我sleep(self,job)在类中使用虚拟函数时发生的情况Main。当它在课堂之外时，它工作得很好。

PicklingError: Can't pickle <built-in method sleep of simulation.Main
object at 0x0D4A3C00>: it's not found as __main__.sleep

In [2]: Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "C:\Python27\lib\multiprocessing\forking.py", line 381, in main self = load(from_parent)
  File "C:\Python27\lib\pickle.py", line 1384, in load return Unpickler(file).load()
  File "C:\Python27\lib\pickle.py", line 864, in load dispatch[key](self)
  File "C:\Python27\lib\pickle.py", line 886, in load_eof

    raise EOFError
EOFError

我正在使用 Python 2.7

更新

我设法进一步隔离了这个问题。使用第三方包时pathos multiprocessing，我可以腌制类函数。现在的问题似乎是在使用作为类实例的函数参数时出现错误。

4

1 回答 1

1

来自 Python 多处理编程指南：

可挑选性：确保代理方法的参数是可挑选的。

只有顶级函数是picklable。

很难腌制非顶级函数（类/实例方法，嵌套函数等）的原因是很难在子进程中以可移植的方式查找它们。您发送实例方法以执行的过程可能对拥有该方法本身的对象一无所知。

正如编程指南所建议的那样：

但是，通常应该避免使用管道或队列将共享对象发送到其他进程。相反，您应该安排程序，以便需要访问在其他地方创建的共享资源的进程可以从祖先进程继承它。

换句话说，创建一个将方法传递给目标关键字的进程。

Pathos 库扩展了 pickle 协议，允许序列化比标准协议支持的更多类型。

一般来说，不建议混合使用 OOP 和多处理，因为有几种极端情况可能会产生误导。这是其中之一。

于 2016-11-16T21:40:11.520 回答