问题标签 [pathos]

我必须从 sklearn KDTree 中查询大量向量，这是搜索器类的路径。我正在尝试使用 python 多处理并行查询它们，但是并行代码与单个版本花费几乎相同（或更多）的时间。

我想知道

• 如果我的 kd-tree 被复制到每个工作线程
• 是否有另一种并行搜索的方法（使用 pathos？）

在上面的代码中，我使用 pathos 多处理库来避免类的 python 多处理问题。但是我收到一个酸洗错误：

我该如何解决？

when i run the above code it throws a error

cannot find pathos.multiprocessing

cannot import pathos

i tried all the possible ways but i could not find any solution. I was trying to work on a developing a code which takes more than 10 inputs and process them using multiprocessing instead of waiting in queue and generates output. For that i have tried multiprocessing, but it throws pickling error, so i tried to use pathos, but it says cannot import pathos. Can any one tell me the possible solution for this???

我和这个人有类似的问题。我无法在 pathos 模块中运行简单的多处理例程并收到酸洗错误。下面是代码和错误。

返回的错误：

我已经安装了：pp、dill、pox 和 multiprocessing，然后安装了 pathos。安装有效，但总是给我这个错误：

警告：以下依赖项之一未解决：pp(ft) >=1.6.4.5 dill >=0.2.4 pox >=0.2.2（多）处理

根据 pathos 的作者对类似问题的回复，安装似乎存在问题。我已经删除并重新安装了几次，每次都验证安装了正确的依赖项。我在 MacOS 上运行并使用 python 2.7。任何帮助将不胜感激！

我想在课堂上进行多处理。似乎只有 pathos.multiprocessing 能够帮助我。但是，当我实现它时，它无法加载我在 main 函数中使用的包。

错误是未定义全局名称“日期时间”。但它适用于主要功能！我的系统是Win7。

嗨，谁能告诉我如何在 Windows 操作系统中安装 python 的 pathos 包。我想在 Windows 操作系统中安装 pathos。我收到了酸洗和取消酸洗的错误，

我正在尝试使用该pathos库来替换内置的多处理库，但是在 Windows 上使用管道或队列时遇到了困难。这是一个有代表性的例子：

pipe.send('pipe')提高IOError: (6, 'The handle is invalid')和queue.put('queue')提高WindowsError: [Error 5] Access is denied。两者都可以使用 vanilla 多处理模块正常工作。

难道我做错了什么？

编辑：此崩溃仅在我尝试调试子进程时发生（我使用WingIDE）。sys.gettrace()如上所述，我可以通过检查来准确预测崩溃。

我已经安装了 dill/pathos 及其依赖项（有一些困难），我正在尝试在多个进程中执行一个功能。类/属性Model(self.xml,self.exp_data,i).SSR是定制的，并且依赖于其他自定义函数的负载，所以我提前为无法提供“可运行”代码道歉。然而，简而言之，它需要一些实验数据，将 ODE 系统与 python 的 pysces 模块集成并计算平方和 ( SSR)。并行化此代码的目的是使用多个参数集加速此计算。

编码：

我得到的错误信息是：

然后我尝试使用map_async：

它返回一个<multiprocess.pool.MapResult object at 0x0000000014AF8C18>对象，当我尝试使用MapResult“get”方法时，它给了我同样的错误

有人知道我做错了什么吗？

我正在尝试创建一系列具有特定作业的工作线程。当前是从一个队列中取出，做一些处理，然后把输出放到第二个队列中。

当我尝试使用多处理（多进程？有什么区别？）模块时，出现以下问题

这似乎是某种 cpickle 问题。我正在处理__getattr__被覆盖的对象，但我确实使用了

以确保TypeError不再调用。多处理酸洗问题的答案是使用pathos，但我看不到在pathos. 我也看不到产生Processin的方法pathos。我见过的每个示例都使用pool. 例如，我还看到了一个响应，pathos.helpers.mp.process.Process但找不到模块ImportError: cannot import name helpers。这有可能吗？

我有一段现有的 Python 代码，它在我的机器的内核上并行运行。它完成的工作基本上是打开一个输入文件，读取内容，执行一些相当繁重的数学运算，将结果写入输出文件，在 for 循环中获取下一个文件并再次执行。为了使这个在许多内核上并行，我使用Pool了multiprocessing库中的函数。举个简单的例子：

这个例子只是用来展示我是如何multiprocessing.Pool跨 8 个内核实现这个功能的。本质上mp_worker，我的代码中的函数要复杂得多，但你明白我的意思。

我开始意识到我正在处理的网络中有几台机器在 99% 的时间里都处于空闲状态。因此，我想知道是否有办法在这段代码中利用他们的核心以及我的本地核心。

在伪代码中，代码可能会变成这样：

我现在可以在其中指定我的本地计算机和其他 IP 地址作为服务器以及我想在每台计算机上使用的内核数。

由于我网络上的其他机器归我所有，并且没有连接到 Internet，因此出于安全目的，我不会对使用 SSH 大惊小怪。

谷歌搜索我注意到pathosandscoop库可能可以帮助我解决这个问题。它看起来与真正吸引我pathos的库具有非常相似的命令。multiprocessing但是，在这两种情况下，我都找不到一个简单的示例来展示如何将本地并行作业转换为分布式并行作业。我渴望尽可能靠近multiprocessing图书馆的池/地图功能。

任何帮助或示例将不胜感激！