问题标签 [dill]

我正在尝试使用 dill 模块来保存我的 ipython 会话，dump_session()但我收到一条错误消息。我正在使用 Ipython 1.0.0 和 dill 0.2-a-dev 20120503。有没有人有任何见解？提前致谢。

尼尔

这是巨大的追溯：

我想multiprocessing在 Python 中使用该库。遗憾的是multiprocessing使用picklewhich 不支持带有闭包、lambda 或__main__. 这三个对我来说都很重要

幸运的是，有dill一种更健壮的泡菜。显然dill在导入时执行魔术以使泡菜工作

这非常令人鼓舞，特别是因为我无法访问多处理源代码。可悲的是，我仍然无法让这个非常基本的示例工作

为什么是这样？我错过了什么？multiprocessing+dill组合的具体限制是什么？

JF塞巴斯蒂安的临时编辑

我想用 dill 替换 MPI4PY 的内置Pickle序列化。根据文档， _p_Pickle 类应该有 2 个名为dumps和的属性loads。但是，当我尝试以下操作时，python 说没有这样的属性

-> AttributeError：类型对象“mpi4py.MPI._p_Pickle”没有属性“转储”

去哪儿dumps了loads？

因为我无法很好地设置 pf cPickle 我正在使用莳萝。在文档中他们说两者是相同的，但是在 dill 中没有像 dump 这样的选项，所有这些都是由 cPickle 或 Pickle 提供的。有什么链接可以下载 cPickle 或 Pickle 吗？

提前致谢！

一开始，我试过了conda install dill，conda但在互联网上找不到它。

然后我从这里下载了默认 IPython 目录中的 .tgz和文件： https ://pypi.python.org/pypi/dill.zip

之后我尝试了以下命令：
conda install dill-0.2b1.zip
conda install "C:\<rest_of_the_complete_path>\dill-0.2b1.zip"
同样对于.tgz. 所有四次尝试都产生了错误：
No packages found matching:

我做错了什么？我正在尝试重复以下链接中给出的示例：http: //nbviewer.ipython.org/gist/minrk/5241793

编辑 1：我通过从https://pypi.python.org/pypi/dilldill运行.exe文件安装在我的系统上。此步骤安装在我的系统 python ( ) 上，但没有安装在我的 Anaconda Python 上。我假设这两个 python 是分开的，因为我可以在两者上导入常用模块（例如）——我访问的 python和我通过 IPython 笔记本访问的那个——但我只能在我访问的 python 上导入而不是在我的 IPython 笔记本中。dillC:\Python27numpycmddillcmd

我知道我可以让 IPython 并行使用 dill 而不是 pickle 直接查看使用

但是我怎样才能启用它dv.load_balanced_view()呢？

我正在尝试利用我的计算机的多个 CPU。但是，BeautifulSoup我的函数作为对象的一部分返回的SQLAlchemy对象 不能用 pickle 或 cPickle 腌制，所以我使用pathosmultiprocssing ，它是包的一个分支，使用dill它可以腌制任何 python 对象。我在无法腌制的物体上测试了莳萝并且它起作用了，所以我认为我的问题会得到解决。但是，当我使用 pathos' 时，我遇到pool.map了与之前相同的问题，主要是函数完成但没有返回结果。我通过使用results = pool.amap(myfunc, myarglist)which completes 确认了这一点，但是results.get()没有。不幸的是，我无法发布该页面的 html（它不公开），并且我无法找到该问题的可重现示例。这个答案包括一个用于对大型对象的多处理进行故障排除的功能，但不幸的是，它使用Queue的似乎并没有pathos自己实现（可能只是在pool.map功能的内部）。我0.2a1.dev在 python 2.7 上使用 pathos 版本（在从源代码编译之前使用 pip 安装了依赖项）。这是键盘中断的回溯：

我现在正在使用莳萝（泡菜的高级版本）。我想序列化我的对象，但出现此错误：

有人可以告诉我造成此错误的可能性或我该如何解决？

我有一个代码框架，其中涉及使用 dill 转储会话。这曾经工作得很好，直到我开始使用熊猫。以下代码在 CentOS 6.5 版上引发 PicklingError：

问题似乎源于 pandas.algos。事实上，运行它来重现错误就足够了：

错误是pickle.PicklingError: Can't pickle <cyfunction lambda1 at 0x1df3050>: it's not found as pandas.algos.lambda1。

问题是，我的电脑上没有出现这个错误。它们都有相同版本的 pandas (0.14.1)、dill (0.2.1) 和 python (2.7.6)。

看着坏对象，我得到：

这似乎是由于pandas.algos两个操作系统的不同处理（可能是不同的编译器？）。在我的电脑上，dump_session没有错误的地方pandas.algos._return_false是<cyfunction <lambda> at 0x06DD02A0>，而在 CentOS 上是<cyfunction lambda1 at 0x1df3050>. 为什么处理方式不同？

Trying to render a large and (possibly very) unpicklable object to a file for later use.

No complaints on the dill.dump(file) side:

But trying to load the .pkl file:

Returns following error:

The AudioObject is much more complex (and large) than the class object the above calls are made on (from SO answer), and I'm unclear as to whether I need to send a second argument via dill, and if so, what that argument would be or how to tell if any approach to pickling is viable for this specific object.

Examining the object itself a bit:

returns:

And audiofile.analysis seems to contain an attribute called audiofile.analysis.source which contains (or apparently points back to) audiofile.analysis.source.analysis