问题标签 [snow]

我已经编写了一个函数Rcpp并用inline. 现在，我想在不同的内核上并行运行它，但我遇到了一个奇怪的错误。这是一个最小的示例，该函数funCPP1可以自行编译并运行良好，但不能被snow'sclusterCall函数调用。该函数作为单个进程运行良好，但在并行运行时会出现以下错误：

这是一些代码：

我正在做一些使用snow集群的东西。目前，我知道查看有多少活动集群的唯一方法是打开任务管理器 -> 资源管理器 -> 按名称排序并查找RScript对象。有没有办法在 R 中做到这一点？

另外我问这个的原因是我可以删除以前创建的集群。有时我会在 R 中RScript运行后看到仍然存在的对象stopCluster()。任何建议将不胜感激。

注意：到目前为止，我所做的所有集群都是localhost/SOCK在我的笔记本电脑上使用第二核的集群。

我正在尝试使用雪在 R 中运行并行作业。我已经能够在旧版本的 R 和 snow 上毫无问题地运行极其相似的工作。R 包依赖项阻止我恢复。

会发生什么：我的工作在这一步终止parRapply，即节点第一次必须做任何没有报告的事情Sys.info()。错误消息如下：

规格： R 2.14.0、snow 0.3-8、RedHat Enterprise Linux Client 5.6 版。雪包已经构建在正确版本的 R 上。

详细信息： 以下代码似乎可以正常执行：

我是最终用户，而不是系统管理员，但我迫切需要有关可能出现问题的建议和见解。

我将如何注册一个 PSOCK 集群（使用包 Parallel 创建）foreach？我目前registerDoSNOW在doSNOW包中使用来注册一个snowSOCK 集群。

刚刚发生了一件神奇的事情。我使用 Rterm（使用 R.exe 启动）而不是 RGui 或 RStudio 来使用 foreach/snow/doSnow 运行并行任务。在命令窗口中，我可以看到子任务的输出。这从未与 RGui 或 RStudio 一起工作（这让调试很痛苦）。我只是好奇——为什么？从字面上看，除了第一次在 RTerm 中运行我的代码之外，我的代码没有任何改变。我敢肯定这里缺少一些技术要点。

我需要调用snow集群上的源来重新评估一些功能。我正在使用的调用clusterCall()不起作用：

高性能任务视图说明tm可以使用雪进行并行文本挖掘（High-Performance and Parallel Computing with R）。但是，我没有找到任何示例来说明如何做到这一点，尽管我发现了一些关于并行计算的讨论tm（R/Finance 2012）。任何人都可以阐明如何tm与由创建的集群接口snow？

编辑：见下面 BenBarnes 的评论。具体来说：

根据?tm_startCluster，该函数查找 MPI 集群（不是 SOCK 集群）和“允许 [s] 'tm' 使用集群”。也许这将是 hadoop 的替代方案，因为在给定一些先决条件的情况下，snow可以设置 MPI 集群。

Parallel R 相当新。快速提问。我有一个计算密集型的算法。幸运的是，它可以很容易地分解成碎片以使用multicoreor snow。我想知道的是在实践multicore中与 ? 结合使用是否被认为是好的snow？

我想做的是将我的负载拆分为在集群中的多台机器上和每台机器上运行。我想利用机器上的所有内核。对于这种类型的处理，混合雪是否合理multicore？

我正在网格上运行一系列大型模拟。我正在按行执行模拟，我发现我的采样函数是一个瓶颈。我尝试使用 foreach 和 doMC 库来加速该过程，但我发现并行方法较慢，或者我无法编写将由 foreach 正确解释的函数。

查看其他一些帖子，看来我使用 foreach 的方法可能会被误导，因为我尝试的作业数量大大超过了可用处理器的数量。我想知道人们是否会对如何在我的情况下最好地实现并行化提出一些建议。我的模拟通常有两种类型。在第一个中，我计算一个矩阵，其中包含我正在处理的网格行中每个元素的采样间隔（行）。然后我使用 runif 进行采样（在实际模拟中，我的行包含 ~ 9000 个单元格，并且我正在执行 10000 个模拟）。

在第二种情况下，我试图从一组按矩阵中的列索引的经验分布中进行抽样。grid-row 元素的值对应于要采样的列。

在第二个示例中，我能够利用foreach()和%dopar%并行运行，但模拟花费的时间比串行代码长得多。在上面的第一个示例中，我无法编写适当的函数来利用 foreach 并行化。我将把我在第二种情况下使用的代码只是为了展示我的想法——但我现在意识到我的方法在开销上太昂贵了。

我很感激一些关于一种方法（和一些代码！）的建议，这将有助于我有效地利用并行化。同样，我正在处理的行通常包含大约 9000 个元素，我们对每个元素进行 10000 次模拟。所以我的输出模拟矩阵一般在 10000 X 9000 的量级。谢谢你的帮助。

这里有没有人成功地将大矩阵导出到 R 中的雪团？bigmatrix 和 attach.resource 示例中的注释行说可以这样做，但我没有成功。

即使我使用文件支持的大矩阵它也会崩溃（这很奇怪，因为它甚至不使用共享内存）