问题标签 [ipython-parallel]

我之前通过 MPI（和 Fortran :)）使用过并行计算。我现在想使用 IPython 的并行功能。

我的问题与以下代码的性能不佳有关，受http://ipython.org/ipython-doc/dev/parallel/asyncresult.html的启发：

一个处理器的结果是：

你能告诉我结果对你来说是否正常，如果是，为什么计算时间会有如此巨大的差异？

最好的问候，弗拉维恩。

我是一名新手程序员，试图使用 python 进行科学编程。我认为这些帖子（如何在 IPython.parallel 中使用交互式定义的类？和ipython 并行推送自定义对象）涉及类似的问题，但对我没有用。我想将我的代码作为脚本运行（用于 PBS 或 SGE 排队调度程序），但我不知道如何使用 dill。

本质上，我正在尝试使用 Ipython 并行集群来拆分自定义类方法中定义的计算。

我想将一个集群对象传递到我的自定义类实例中，然后使用集群来拆分对定义为成员的数据片段进行操作的计算。

1. 使用ipcluster( /path/to/ipcontroller-client.json) 启动集群后，
2. 然后，我想跑，python test_parallel.py
3. 哪里，test_parallel.py是

输出是

任何有助于理解为什么这不起作用，以及需要最少代码更改的修复将非常有帮助。

谢谢！

这是我第一次尝试使用IPython.parallel所以请多多包涵。

我读了这个问题 Parfor for Python 并且在实现一个简单的例子时遇到了麻烦，如下所示：

我遇到的问题是：

1. a是在循环之外定义的，我想我需要做一些像“推”这样的事情，但对此有点困惑。我需要“拉”后吗？
2. 该函数需要两个参数，我不知道如何正确传递它们。我尝试了类似的东西，zip(ii,jj)但遇到了一些错误。
3. 另外，我认为我使用随机库gmpy2不应该影响事情。它是否正确？我需要为此做一些特别的事情吗？

理想情况下，我希望得到您的帮助，因此在这个简单的示例中，代码运行时不会出错。

如果您认为将我的失败尝试发布在#2 上会有所帮助，请告诉我。我对#1一无所知。

在我为 ipython 找到的所有示例中：

似乎在使用负载平衡视图块时设置为 False。

我想知道为什么？

另外，是否可以将其设置为 True 以及这会产生什么影响？

我知道这可能是一个基本问题，但作为新手，我找不到令人满意的答案。

感谢帮助

IPython并行文档提到：

或者

对于本地 ipengines (IIUC) 和

如果我的 ipengines 在另一台服务器上。

但是我需要做什么才能让 IPython 并行控制器，比如说，管理来自本地节点的 8 个 ipengines 和来自远程节点的 8 个 ipengines，通过 SSH 连接？

或者如果没有全面的 HDFS、Hadoop 等，这是不可能的吗？

我的目标是拥有一个客户端（或控制器？）接口，我可以以负载平衡的方式发送一堆计算，我不在乎在哪里运行什么以及何时运行。

我看到了一个关于如何进行分布式计算的教程：

为什么教程使用直接视图？这将如何通过负载平衡视图实现？

我做了一些基准测试，试图弄清楚它的性能如何。

结果非常糟糕（蓝色是并行的，绿色是串行的）：

我有一个问题，希望有人能帮我弄清楚。我正在尝试在 iPython 笔记本中构建两个不同的并行视图。第一个视图包含 ID 为 0 的处理器，第二个视图包含所有其余的处理器。我为每个视图关联了一个前缀，这样我就可以轻松地在不同的处理器上运行不同的东西。

我启动了一个后台线程，该线程使用第二个视图中的处理器进行长时间计算。当它在后台运行时，我尝试使用第一个视图运行命令，但它不起作用。我收到此错误：ValueError：''不在列表中。

所以我想知道是否有办法做我想做的事情，或者这是否是不受支持的行为。简而言之，我想使用不同的处理器创建两个不同的视图。视图之间不会共享处理器。然后我希望能够运行使用一个视图的后台任务，同时将另一个视图用于不相关的任务。

这是一个导致错误的小示例脚本。我不确定如何直接发布笔记本，所以我只是复制并粘贴了从中生成的 python 脚本。

一旦 foreFunc() 运行，它就会给出错误：

有什么想法吗？我会很感激任何人的任何想法。

我创建了一个通过 ssh 连接到多台机器的设置。这是我的配置文件：

我有一个自定义类并收到以下错误。我无法理解的是，如果我连接到标准 ipcluster 配置文件，我不会收到任何错误。为什么有区别？

和错误

编辑：

我应该提到，执行以下操作不会改变任何事情：

I am trying to write a script that will start an new engine.

Using some code from IPython source I have: [engines.py]

if I run this with python engines.py in the command line I run into a configuration problem and my traceback is:

if I do a super ugly hack like the following, it works:

Why can't I pass the keyword arguments in the launch_new_instance method?

What are the right keyword arguments?

Where can I get the entry point to entering my configuration options?

Thanks,

Martin

这是与此相关的问题：

https://stackoverflow.com/questions/27596463/why-do-i-get-a-cannedarray-object-has-no-attribute-pickled-in-ipython-gather

不同之处在于，现在我尝试use_dill在 ipython 中并行，当我尝试提取数据时，它给了我一个错误。我不知道数据是否被push编辑过。

我得到的错误是：

我不知道发生了什么，非常感谢任何帮助。

如果您想了解更多信息，请告诉我，我会添加。

谢谢