3

我正在尝试编写一个要在多个 IPython 引擎中执行的函数。该函数将 pandas Series 作为参数。Series 的每个元素都是一个字符串，整个 Series 构成了一个用于 TF.IDF 计算的语料库。

在阅读了 IPython 并行文档和一些教程之后，这似乎很简单，我想出了以下内容：

import pandas as pd
from IPython.parallel import Client


def calculemus(corpus):
    from sklearn.feature_extraction.text import TfidfVectorizer

    vectorizer = TfidfVectorizer(min_df=1, stop_words='english')

    return vectorizer.fit_transform(corpus)


review = pd.read_csv('review.csv')['text']
review = review.fillna('')

client = Client()

r = client[-1].apply(calculemus, review).get()

但我得到了这个错误：

---------------------------------------------------------------------------
ValueError                                Traceback (most recent call last)/xxx/site-packages/IPython/zmq/serialize.pyc in unpack_apply_message(bufs, g, copy)
    154                     sa.data = m.bytes
    155 
--> 156     args = uncanSequence(map(unserialize, sargs), g)
    157     kwargs = {}
    158     for k in sorted(skwargs.iterkeys()):
/xxx/site-packages/IPython/utils/newserialized.pyc in unserialize(serialized)
    175 
    176 def unserialize(serialized):
--> 177     return UnSerializeIt(serialized).getObject()
/xxx/site-packages/IPython/utils/newserialized.pyc in getObject(self)
    159                 buf = self.serialized.getData()
    160                 if isinstance(buf, (bytes, buffer, memoryview)):
--> 161                     result = numpy.frombuffer(buf, dtype = self.serialized.metadata['dtype'])
    162                 else:
    163                     raise TypeError("Expected bytes or buffer/memoryview, but got %r"%type(buf))
ValueError: cannot create an OBJECT array from memory buffer

我不确定问题是什么，有人可以启发我吗？


更新

显然，该错误准确地说明了它所说的内容。如果我这样做：

r = client[-1].apply(calculemus, np.array(review, dtype=str)).get()

它有点工作。

那么下一个问题是，这是 IPython 的一个特性还是一个限制？

4

1 回答 1

2

这是 IPython 0.13 中的一个错误，应该在 master 中修复。序列化 numpy 数组有一种特殊情况，可以避免复制数据，这种行为是由isinstance(numpy.ndarray)检查触发的。这是不合适的，因为isinstance捕获了包含 pandas 对象的子类，但不应以相同的方式处理这些 pandas 对象（以及一般的数组子类），因为元数据将丢失，而另一端的重建通常会失败。

PS：

r = client[-1].apply(calculemus, np.array(review, dtype=str)).get()

相当于

r = client[-1].apply_sync(calculemus, np.array(review, dtype=str))
于 2013-06-09T21:46:22.683 回答