1

我正在尝试使用多处理池类将纯函数映射到一些不可变对象上。但是，当我尝试运行它时，我会在终端中看到大量错误（有时会持续几分钟），而且 python 通常“必须以不寻常的方式终止”。我在 Windows (XP) 上运行，使用 python 3.2.2。

import multiprocessing

def do_stuff(v):
    return v.x + v.y

class Vector:
    __slots__ = ['x', 'y']

    def __setattr__(self, name, value):
        raise AttributeError("Cannot assign values to object {0} of type {1}".format(self, type(self)))

    def __init__(self, x, y = None):
        """Initialize an immutable x, y Vector"""
        object.__setattr__(self, 'x', x)
        object.__setattr__(self, 'y', y)

if __name__ == "__main__":
    todo = [Vector(1, 2), Vector(3, 4), Vector(-1, 12), Vector(16, 32), Vector(16, 32)]
    pool = multiprocessing.Pool(4)
    results = list(pool.map(do_stuff, todo))
    print(results)

预期输出：

[3, 7, 11, 48, 48]

错误的数量非常多，但似乎归结为 pool.map 中的某些内容试图在 Vector 上设置属性：

Process PoolWorker-1:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
Process PoolWorker-2:
Traceback (most recent call last):
  File "c:\Python32\lib\multiprocessing\process.py", line 267, in _bootstrap
    self.run()
  File "c:\Python32\lib\multiprocessing\process.py", line 116, in run
    self._target(*self._args, **self._kwargs)
  File "c:\Python32\lib\multiprocessing\pool.py", line 102, in worker
    task = get()
  File "c:\Python32\lib\multiprocessing\queues.py", line 378, in get
    return recv()
  File "d:\Documents and Settings\Userdir\Scripts\temp\test.py", line 11, in __s
etattr__
    raise AttributeError("Cannot assign values to object {0} of type {1}".format
(self, type(self)))
AttributeError: Cannot assign values to object <__main__.Vector object at 0x00C2
BBB0> of type <class '__main__.Vector'>

我可以注释掉以__slots__(strange?) 开头的行，使用常规map，或者我可以使 Vector 类可变（注释掉__setattr__），其中任何一个本身都会使其正常工作。

当我所做的只是从对象中读取时，为什么还要尝试在我的对象上设置属性？

为什么__slots__从对象中删除会导致它正常工作？

编辑：

我将__slots__其用作节省内存/空间的一种方式，因为我的程序中通常有大量向量。因此，我无法从元组派生 Vector：__slots__不适用于从“可变长度”内置类型（如 long、str 和 tuple）派生的类

4

1 回答 1

1

__slots__导致 unpickling 问题multiprocessing，请参见例如python 多处理 pickle 协议

由于您不需要它来实现不变性（您__setattr__的所有实际用途都足够了），我建议您将其删除。

如果你真的需要它来节省空间，那么实施__getstate__它__setstate__可以解决 unpickling 问题。

于 2012-04-09T19:22:00.847 回答