问题标签 [pathos]

我正在尝试利用我的计算机的多个 CPU。但是，BeautifulSoup我的函数作为对象的一部分返回的SQLAlchemy对象 不能用 pickle 或 cPickle 腌制，所以我使用pathosmultiprocssing ，它是包的一个分支，使用dill它可以腌制任何 python 对象。我在无法腌制的物体上测试了莳萝并且它起作用了，所以我认为我的问题会得到解决。但是，当我使用 pathos' 时，我遇到pool.map了与之前相同的问题，主要是函数完成但没有返回结果。我通过使用results = pool.amap(myfunc, myarglist)which completes 确认了这一点，但是results.get()没有。不幸的是，我无法发布该页面的 html（它不公开），并且我无法找到该问题的可重现示例。这个答案包括一个用于对大型对象的多处理进行故障排除的功能，但不幸的是，它使用Queue的似乎并没有pathos自己实现（可能只是在pool.map功能的内部）。我0.2a1.dev在 python 2.7 上使用 pathos 版本（在从源代码编译之前使用 pip 安装了依赖项）。这是键盘中断的回溯：

我正在尝试使用 Python 的 pathos 将计算指定为单独的进程，以便使用多核处理器加速它。我的代码组织如下：

由于我在使用 multiprocessing.Pool 时遇到了酸洗问题，所以我决定尝试一下 pathos。我尝试过，如先前主题中所建议的那样：

但它导致错误：没有模块多处理 - 我在最新的 pathos 版本中找不到。

然后我尝试修改 boo 方法：

现在没有抛出错误，但 foo 不起作用 - 我的类的实例没有新属性。请帮帮我，因为在花了一天时间之后，我不知道下一步该去哪里。

请帮助...

我有这个在 Linux (Ubuntu) 上运行没有任何问题的简单脚本，但AuthenticationError: digest sent was rejected在 Windows 上提供，我知道它与它有关multiprocessing.Manager，但不知道如何修复它：

这是代码：

在 Linux 上，

视窗....

我有一个类实例列表，我想并行调用相同的实例方法，使用 pathos 能够腌制实例方法，真正的问题是当我想更改/添加实例的属性时，它没有t 工作，我认为这是因为子流程的酸洗是输入的深层副本。任何人都知道如何解决这个问题？我不想改变编写实例方法的方式（比如返回一个值，以后再放在一起）。

这是输出，没有找到 num 属性，我认为是因为在那些副本上进行了更改。

按照评论中的建议，我尝试从子进程返回 self ，但返回的 self 不是其原始类型似乎是一个悲伤的错误。请参阅以下代码：

这是输出：

我使用默认的多处理包，它没有这样的问题。

这是关于使用 multiprocessing.Pool 打开的文件过多

我有类似的问题。我的设置是运行这个简单脚本的四核 Ubuntu（python 2.7，pathos==0.2a1.dev，pathos 仅用于允许 mp map 与类方法一起使用）为每个进程记录一个单独的文件。

为什么python不关闭记录器文件？？？

这是代码...

错误是：

您可以看到打开文件过多的错误从 15336 开始。当此脚本处于调试状态时，我看到此脚本打开了 16K 文件

我试图在几台不同的计算机上使用多处理，这pathos似乎是为了：“Pathos 是异构计算的框架。它主要提供用于跨异构资源配置和启动并行计算的通信机制。” 然而，在查看文档时，我不知道如何启动和运行集群。我期待：

1. 设置具有安全身份验证的远程服务器或一组远程服务器。
2. 安全地连接远程服务器。
3. pool.map使用标准多处理包中的简单 API（如此相关问题中的伪代码）在远程服务器和我的本地计算机中的所有 CPU 上映射任务。

我没有看到 (1) 的示例，也不理解为 (2) 提供的隧道示例。该示例实际上并未连接到 localhost 上的现有服务。我还想知道我是否/如何要求此通信附带某种密码/密钥，以防止其他人连接到服务器。我知道这使用 SSH 身份验证，但缺少一个预先存在的密钥，该密钥只​​能确保流量在通过 Internet 时不会被读取，但不会阻止其他人劫持服务器。

我正在尝试从 git 安装pathos库，但收到以下错误：

这里有什么问题，我该如何解决？谢谢

编辑1：

尝试了以下方法：

点安装 git+ https://github.com/uqfoundation/pathos

...但仍然没有运气：

编辑2：

尝试了以下，由cel推荐：

点安装 git+ https://github.com/uqfoundation/pathos

...这绝对解决了查找问题（谢谢，cel），但仍然存在安装问题：

我想用 scipy 拟合许多发行版，并想为此使用某种多处理。像这样的东西：

方法 0 当然不是多处理，但有效。方法 1 和 2 都返回长回溯。有人有解决方法吗？

方法一错误：

方法二错误：

我有一些代码可以使用多处理库的 pathos 扩展来执行一些操作。我的问题是如何使用更复杂的工作函数——在本例中名为New_PP. 我应该如何格式化 thpool 行来处理我的工作函数需要的字典才能给我一个结果。access_dictPython 将字典默认为全局变量，但在工作函数的范围内，我收到与找不到此字典 ( ) 相关的错误，所以我如何发送字典或确保它对我的工作线程可用。

和工人功能：

工人函数如何到达access_dict？

我还尝试将我的函数包装在一个类中，如下所示：

和：

但是我遇到了同样的问题。

我正在尝试通过多处理使用类方法并行化代码。基本结构如下：

在正常的多处理失败后，我开始意识到 Pickle 和多处理的问题，因此我尝试使用 multiprocessing.pathos 解决它。但是，我仍然得到

以及 pickle.py 中的许多错误。除了这个实际问题之外，我不太明白为什么除了 myfunc 的最终结果之外的任何东西都被腌制了。