问题标签 [rparallel]

我试图用谷歌搜索“r package parallel”，但我在 CRAN 上没有找到它。我也尝试了以下链接，但它们不起作用：

http://cran.r-project.org/web/packages/parallel/index.html

http://cran.r-project.org/web/packages/parallel

http://cran.r-project.org/package=parallel

它也没有出现在列表中available.packages()。

但显然这个包parallel 确实存在！:-) 我在我的包列表中有它，它甚至在这里有自己的标签:-)

我需要在所有 Windows 的 15 台机器（每台 4 核）上运行数千个模型。我开始学习parallel，打包snow并snowfall阅读了一堆介绍，但它们主要集中在大师的设置上。关于如何在 Windows 上设置工作（从）节点的信息很少。信息往往是矛盾的： 有人说 SOCK 集群实际上是最简单的方法，其他人声称SOCK 集群设置在 Windows 上很复杂（sshd 设置），最好的方法是 MPI。

那么，在 Windows 上安装从节点最简单的方法是什么？MPI、PVM、SOCK 还是 NWS？我的，可能是幼稚的想法是（按优先级列出）：

1. 使用从节点上的所有 4 个内核（必需）。
2. 理想情况下，我只需要带有一些包的 R 和一个从属 R 脚本或 R 函数，它们会在某个端口上侦听并等待来自主控的任务。
3. 理想情况下，可以从集群中动态添加/删除节点。
4. 理想情况下，从服务器将连接到主服务器——所以我不必在主服务器的配置中列出所有从服务器 IP。

只有 1 是 100% 需要的，2-4 是“会好的”。要求是不是太天真了？

很抱歉，我无法从可用的文档和教程中弄清楚这一点。如果您指出正确的来源，我将不胜感激。

我正在尝试使用 doSNOW 和 foreach 包进行多服务器（不是多核）计算。我有 2 个 Windows 服务器，我想在这两台 Windows 机器上开始并行计算。

我有以下代码：

调用 makeCluster 后，我的机器会做一些事情，但从未真正完成调用。当我在 RStudio 中点击停止时，我收到以下错误消息：

这是否意味着我必须在这些远程服务器上配置一些东西？我究竟应该配置什么？SSH？我该怎么做？也许我应该在我的远程机器上打开一些端口？哪个？

有没有人有我需要做的步骤的完整示例在 2 台或更多机器上运行 R。

PS doSnow 非常适合多核运行，这没问题。我在运行多台服务器时遇到问题

我正在本地并行运行任务，使用包中的%dopar%包来创建集群（目前在 Windows 机器上运行）。我以前做过很多次，它工作正常，直到我在其中使用（即非并行）放置一个不相关的循环。然后 R 给了我错误（带有回溯）：foreachdoSNOWforeach%do%

这是一些在我的机器上复制问题的代码：

foreach用简单的foror替换内部(l/s)apply是一种解决方案。但是有没有办法让它与内部一起工作foreach，为什么首先会出现错误？

在 R 中，我使用包“doParallel”和“foreach”进行并行计算。最近，我在 HPC 中运行程序。它有四个节点，每个节点有 16 个处理器。我的 R 程序只需要 4 个处理器。但是 HPC 总是将程序分配给一个节点，该节点占用了所有 16 个处理器。所以我不能在那个节点上运行任何其他程序。如何选择一个节点的自定义处理器数量？以及如何选择不在一个节点上运行程序的处理器？ 我用

我只需要使用 4 个处理器。但是 hpc 总是将一个程序分配给一个节点中的所有处理器（实际上该程序在 4 个处理器中运行）。 例如，一个节点有 16 个处理器。我有四个程序，每个程序都需要四个内核。我应该怎么做才能将四个程序放在一个节点中？

registerDoParallel使用 doParallel 包时，集群和核心有什么区别？

我的理解是否正确，在单台机器上这些是可以互换的，我会得到相同的结果：

和

我看到的唯一区别makeCluster()必须使用stopCluster().

我使用 R 进行并行计算。每次，当我想杀死并行程序时，我总是使用kill 2130 2131 6456（PID）。有没有办法杀死R的所有程序？

我正在尝试在 R 中使用“doSNOW”进行并行处理。在 foreach 循环命令期间，它显示错误：找不到对象 j。请在这方面帮助我。该代码适用于正常的 for 循环。但需要像永恒一样才能完成。请在这方面帮助我。我将永远感激不尽。

下面的代码在 Windows 和 Ubuntu 平台上产生不同的结果。我理解这是因为处理并行处理的方法不同。

总结：
我不能在 Linux 上并行insert/数据（ , ），而我可以在 Windows 上做到这一点。 rbindmclapplymcmapply

感谢@Hong Ooi 指出mclapply不能在 Windows 上并行工作，但下面的问题仍然有效。

当然，same 没有多个插入data.frame，每个插入都在单独的 data.frame 中执行。

问题是：

如何在 Linux 平台上实现rbind并行成单独的 s？data.frame

在我的情况下， PS 非内存存储SQLite不能被视为解决方案。

您好资深 R 用户，

我对 R 很陌生，想知道是否有可能使我的过程并行化。我的数据集本质上来自一个 pcap 文件，在该文件中我提取了与特定协议 MODBUS/TCP 对应的数据包。有超过 800k 个数据包，每两个连续的数据包对应一个特定（即相同）MODBUS 事务的查询/响应。

由于某些值包含在查询/响应中，因此我创建了一个初始 for 循环，该循环逐行“排列”数据，以便每个事务都有一行，所有变量都从两个查询/响应行。区分查询/响应的唯一方法是源/目标端口号，它位于条件 if 语句中。

我正在使用数据表、设置键、预分配变量（合并表/结果）。应用于向量（结果 data.table 中的列）的函数执行得相当快。

我的电脑正在运行带有 4 个处理器的 debian wheezy。由于存在依赖关系，从我的理解来看，实际上不可能利用并行处理？但是有什么方法可以分割整个数据集，让它们并行处理，然后合并结果？运行时间超过 3 小时，也许我可以应用其他一些优化？

非常感谢任何指导/指针。谢谢！