问题标签 [ipython-parallel]

我正在尝试使用 ipython 并行库中的并行计算。但是我对此知之甚少，而且我发现很难从对并行计算一无所知的人那里阅读该文档。

有趣的是，我发现的所有教程都只是重复使用文档中的示例，并使用相同的解释，从我的角度来看，这是无用的。

基本上我想做的是在后台运行几个脚本，以便同时执行它们。在 bash 中会是这样的：

但是 Ipython notebook 的 bash 解释器不处理后台模式。

似乎解决方案是使用 ipython 的并行库。

我试过了 ：

但后来我被困住了。我不知道如何同时运行两次（或更多）相同的脚本或 pgm。

谢谢。

我很难让 ipcluster 启动我要求的所有 ipengine。这似乎是某种超时问题。我在具有 192 个处理器的 linux 集群上使用 IPython 2.0。我运行一个本地 ipcontroller，并使用 SSH 在我的 12 个节点上启动 ipengines。这不是配置问题（至少我认为不是），因为我运行大约 110 个 ipengine 没有问题。当我尝试更大的数量时，它们中的一些似乎在启动过程中死掉了，我的意思是其中一些——我的最终数字略有不同。ipcluster 报告所有引擎都已启动。我能找到的唯一问题迹象（除了没有使用所有请求的引擎）是一些 ipengine 日志中的以下内容：

我做了一些谷歌搜索，看看我是否能找到一些智慧，我遇到的唯一一件事是http://permalink.gmane.org/gmane.comp.python.ipython.devel/12228。作者似乎认为这是某种超时。

我还尝试将 IPClusterStart.early_shutdown 和 IPClusterEngines.early_shutdown 时间增加三倍（90 秒，而不是默认的 30 秒），但没有任何运气。

感谢 - 提前 - 关于充分利用我的集群的任何指示。

所以我写了一些基本结构如下的代码：

dview.execute 部分的输出是

这意味着它被执行，但是，当我试图通过

表明：

有人可以告诉我我的代码有什么问题吗？太感谢了！

我目前正在研究一些用 C 编写的模拟代码，这些代码在不同的远程机器上运行。当 C 部分完成后，我想通过使用 python 模拟 api 和某种作业队列系统对其进行扩展来简化我的工作，它应该执行以下操作：

1.指定一组应执行模拟的参数并将它们放入主机上的队列中

2.worker对远程机器进行模拟

3.返回结果给主机

我查看了完成这项任务的不同框架，我的第一选择归结为 IPython.parallel。我查看了文档，从我测试的结果来看，它似乎很容易使用。我的方法是使用负载平衡视图，如在

http://ipython.org/ipython-doc/dev/parallel/parallel_task.html#creating-a-loadbalancedview-instance

但我没有看到的是：

• 会发生什么，即如果 ipcontroller 崩溃，我的作业队列消失了吗？
• 如果远程机器崩溃会发生什么？是否有某种错误处理？

由于我运行了相对较长的模拟（1-2 周），我不希望我的模拟在系统的某些部分崩溃时失败。那么有没有办法在 IPython.parallel 中处理这个问题？

我的第二种方法是使用 pyzmq 并从头开始实施作业系统。在这种情况下，这种情况下最好的 zmq 模式是什么？

最后但并非最不重要的一点是，对于这种情况是否有更好的框架？

目前，当 AWS 关闭一个或多个Spot 实例节点时， ipcluster 插件会做什么？是否有任何机制可以重新启动然后将这些节点重新添加回 IPython 集群？

在Ipython中使用集群模式时，master如何处理节点机器或进程的死亡？

具体来说，如果我执行异步应用并且某些机器死机，是否有任何机制可以检测到这一点并提醒我（通过警报我的意思是我可以对结果对象进行轮询）？

是否有任何机制可以重新提交这些工作？

当我使用 IPython.parallel 时，如何强制重启远程内核？

例如，在普通的 IPython 笔记本中，我可以直接从工具栏重新启动内核。我的问题是当我有远程内核时，如何强制执行相同的操作？

我正在使用 IPython 并行开发分布式应用程序。在 IPython 集群引擎上有几个任务一个接一个地执行。其中一项任务不可避免地会使用闭包。因此，我必须通过调用来告诉 IPython 使用 Dill 而不是 Pickle dv.use_dill()。虽然这应该是暂时的。

启用 Dill 后，有什么方法可以再次激活 Pickle 吗？我找不到任何dv.use_pickle()可以明确显示此类选项的函数（形式为 ）。

我正在测试 ipython 的一些功能，我认为我做错了什么。

我正在测试 3 种不同的方法来执行一些数学运算。

• 第一次使用@parallel.parallel(view=dview, block=True)和功能map
• 第二次使用单核函数（python普通函数）
• 3、使用客户端负载均衡功能

我有这个代码：

我的结果是：

为什么我的多核程序比单核程序慢？这种方法有什么问题？我能做些什么来修复它？

一些信息：python3.4.1、ipython 2.2.0、numpy 1.9.0、ipcluster 使用 LocalEngineSetLauncher 启动 8 个引擎

我很难尝试启动具有 MPI 功能的 IPython 集群。首先，我安装了 MPI 和 MPI4py，它们正在工作。我终于想出了如何从 ipython 中运行 mpi python 代码。但是，我试图在 IPython 笔记本中获得一个有效的 mpi 配置文件并且不知所措。我已经阅读了所有文档，甚至观看了很多关于该主题的讲座，每次我尝试复制某人正在做的事情时，我总是会出错。好的，如果我从 bash 提示符键入：

我可以进入笔记本并查看该集群。然后，如果我通过点击开始操作按钮来启动它，它就会启动。但是如果我这样做：

我得到：

此外，如果我这样做：

我收到指向 rc=parallel.Client() 行的错误。所以这两个都可以在默认集群上正常工作......我也试过了

从 bash 提示符开始，无论何时我尝试从那里启动集群，如果我在使用 GUI 按钮启动 profile=mpi 后将其从笔记本中放入，我永远不会得到提示：

我遇到了另一个错误。我一直在努力让这件事继续下去，这样我就可以在过去两天里运行一个模拟，而且我在一所没人知道该怎么做的学校里。请有人帮助我