问题标签 [ipython-parallel]

我想采用现有功能（例如来自 scikit-learn：特别是“预测”功能），并使用多个核心将其应用于某些数据集。

我的第一个天真的方法：

不起作用（多个核心不会开始旋转）。有没有办法使这项工作？

或者以某种方式将“不可迭代”函数传递给@dview.parallel函数？

我在循环大量次的优化算法中使用 Ipython 并行。map在循环中使用a LoadBalancedView（两次）方法、aDirectView的字典接口和%px魔法调用来调用并行性。我在 Ipython 笔记本中运行算法。

我发现运行算法的内核和其中一个控制器消耗的内存随着时间的推移稳步增加，限制了我可以执行的循环数量（因为可用内存是有限的）。

使用heapy，我在运行了大约 38,000 个循环后分析了内存使用情况：

您可以看到IPython.parallel.client.client.Metadata实例使用了大约一半的内存。map调用结果被缓存的一个很好的指标是 401177 个OptimizeResult实例，与优化调用的数量相同lbview.map- 我没有在我的代码中缓存它们。

有没有办法可以控制内核和 Ipython 并行控制器上的内存使用（谁的内存消耗与内核相当）？

如何停止已启动的引擎： ipcluster engines --n=8 --daemonize

当前正在运行的进程如下所示：

我不想跑killall python。

我正在做一些并行计算，评估许多回归的拟合优度。在这样做（运行约 60K 计算）时，我设法让 iPython 进入了一个奇怪的状态。

将对象推送到所有节点

并派遣工作：

工作正常。事实上，大部分工作都已完成：

66229

剩余 0.0205939930854 分钟

CPU 时间：用户 211 毫秒，系统：163 毫秒，总计：374 毫秒

挂墙时间：364 毫秒

但是有一项工作没有完成！

35230 无

<AsyncResult: unknown>

错误的

编辑：我希望我能得到所有的结果，除了已经失效的结果，但没有快乐。

[<AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>, <AsyncResult: unknown>]

我还没有尝试重现这一点。什么可能导致此错误？做错什么了吗？有没有更优雅的方式来从这种情况中恢复过来？

版本：

• IPython：3.2.1
• pyzmq：14.7.0
• zeromq: dpkg -l | grep libzmq 产生：

  ii libzmq-dev:amd64 2.2.0+dfsg-5 amd64 轻量级消息传递内核（开发文件） ii libzmq1:amd64 2.2.0+dfsg-5 amd64 轻量级消息传递内核（共享库）

好吧，我之前尝试将 Pycharm 从笔记本电脑连接到远程服务器并没有看到任何希望，因为 tcp/ip 问题（老实说，我不太了解，仍在与之斗争），因此我正在寻找 ipython 作为替代方案

问题：如何在笔记本电脑上配置 ipython 以指向远程 CentOS6 服务器进行代码处理和执行

用例：我想用我的笔记本电脑（使用 Win 7 Professional）使用 iPython 连接到 CentOS 6.4 主服务器。

目标：在笔记本电脑上用 iPython 编写代码，然后将作业发送到将执行处理的服务器，然后将结果返回笔记本电脑或任何其他可视化 API。

已经安装了 pyspark 的服务器和 3 个名称节点，我检查了 pyspark 在所有四台服务器上以独立模式工作。Pyspark 也可以在我的笔记本电脑上以独立模式工作。

当前设置：我使用 SSH 访问服务器。python 2.6 安装在服务器和节点上。能够以独立模式在所有 4 台服务器上运行 pyspark

任何指针都会有所帮助。

关于 IPython Parallel，从我在 Internet 上找到的文档和几篇文章中，我知道我可以通过 SSH 在一台机器上启动控制器并在另一台机器上启动引擎。但是，我想在 SGE 集群上使用 IPython Parallel，但在本地机器上启动控制器，并通过队列系统启动引擎。（在本地机器上启动控制器的原因是也能够使用本地节点）。

在本地机器中，我在profile_x的ipcontroller_config.py中添加了c.HubFactory.ip = '*'。我可以成功启动控制器
ipcontroller --profile=x

我还可以使用 ipengine 在本地启动引擎并使用

现在的问题是如何在集群中启动引擎，以便它们由队列系统管理并连接到本地机器中的控制器？到目前为止，我做到了：我在集群上创建了一个新的配置文件 profile_y。我将 ipcontroller-engine.json 从 profile_x 复制到 profile_y 中的安全文件夹，并修改 profile_y 中的配置文件如下：

在 ipengine_config.py 中：

• c.EngineFactory.ip = '*'
• c.EngineFactory.sshserver = 'mylocalmachineserver'

在 ipcluster_config.py 中：

• c.IPClusterEngines.engine_launcher_class = 'SGE'

但是做的时候

在我所在的节点上创建了一个新引擎，而不是通过队列系统。我希望能够通过 SGE 系统启动 n 个引擎。我想我还需要指定一个带有密码的密钥文件才能连接到我的本地机器。如果你能提供帮助，我会很高兴。

此外，是否可以在引擎启动时“动态”连接到引擎，以防由于集群上缺少空闲插槽而​​无法一次创建所有引擎？

谢谢你的帮助。

我所做的框架代码是

但是，所包含的只是导入错误消息。
这在以前有效，但在 IPython 2.1 和 2.2 之间肯定发生了一些变化。至少，这是我的猜测。

我刚开始使用 Mac，如果这听起来太幼稚，请原谅我。

我正在尝试安装Interactive Parallel. 从https://github.com/ipython/ipyparallel，它说我需要找到jupyter_notebook_config.py.

我已经安装了 python 和相关的包Anaconda，我可以使用 ipython notebook。但是当我用spotlightfor搜索时jupyter_notebook_config.py，我就是找不到这个文件：

那么，我在哪里可以找到这个文件呢？

更新：这是我的home文件夹：

只有anaconda.

我最近将 IPython 更新到 4.0.0 并安装了 Jupyter 4.0.6。

我想并行使用Ipython，在笔记本中启动引擎后，我导入了：

它失败了：

所以我尝试了：

但是没有找到分布。

请注意，它在笔记本中以相同的方式失败，无论是使用ipython notebookor打开，还是jupyter notebook在控制台中。

另请注意，有一个警告：

但rekey在模块中不存在jupyter_client.jsonutil

问题：如何让 IPython 并行在 Jupyter 中工作？ 我错过了什么？

导入 IPython.parallel 时没有问题 -->import IPython.parallel
但是，当我尝试这样做时：
rc=IPython.parallel.Client()
我收到以下错误：

有谁知道这个问题的解决方案？[我使用的是 Ubuntu 14.04]