问题标签 [snow]

我正在使用Linux 机器上makeCluster的 R 包中的函数snow 在远程 Linux 机器上启动 SOCK 集群。一切似乎都让两台机器成功通信（我能够在两者之间建立 ssh 连接）。但：

不会抛出任何结果，只是无限期挂起。

我究竟做错了什么？

非常感谢

我正在用 R 中的排队系统模拟对一些东西进行分析，我正在使用 Rmpi​​ 和降雪来并行运行我的程序。现在，我的程序需要大量随机数生成，所以这特别奇怪。当我多次使用相同的参数运行模拟时，每次都会得到相同的结果。

例如，这是我运行模拟时的输出：-1 0 0 0 0 0 0 0 0 2 -1 -1 0 0 0

当我再次运行它时，我得到了这个：-1 0 0 0 0 0 0 0 0 2 -1 -1 0 0 0 0

我有 1000 万个样本，每个样本都是相同的。我使用了 sfClusterSetupRNG() ，它旨在确保在所有节点上生成唯一的随机数，所以我认为不是这样。我从来没有将我的结果全局存储在我的 R 代码中，并且模拟完成的速度比我想象的要快。老实说，我不知道这是如何发生或为什么发生的。希望有人能提供一些见解。

更多见解：这似乎只在我使用 sfClusterSetUpRNG() 时发生。

我想通过将文档切割成块来查找其他文档之间的相似性大于给定值（0.1）的文档。

使用 apply 时效果很好

使用 parRapply 时

错误：

似乎在 parRapply 中无法使用 sample.dtm。我很困惑。谁能帮我？谢谢！

makeClusterSNOW 包的函数有不同的簇类型“ SOCK”、“ PVM”、“ MPI”和“ NWS”，但我不太清楚它们之间的区别，更具体地说，哪个最适合我的程序。

目前，我有一个不同长度的任务队列进入负载平衡集群，clusterApplyLB并且正在使用 64 位 32 核 Windows 机器。

我正在寻找对四种集群类型之间差异的简要描述，这将最适合我的使用以及原因。

我目前正在运行一个通过雪包（使用clusterApplyLB）进行多线程的程序，并且在代码中我生成了一个随机数，但似乎线程都使用相同的种子来生成这个数字，所以它们给出了相同的结果。

有没有办法让不同的线程从不同的种子开始？

我不能只为每个线程生成一个随机种子，因为这会有同样的问题，而且我也不热衷于在每个线程调用的函数中为种子设置一个新的索引参数（即被调用的函数将 1:32 作为每个线程的种子，因为这并不是真正的“随机”。）

我正在运行多线程 R 脚本，但无法从集群生成输出。

我知道我看不到任何输出，outFun()因为它位于新的 R 线程中，但我希望有某种方法可以将此输出转发回主线程，以便在打印时可见。

编辑：这个问题为 Linux 机器回答了这个问题，但该解决方案不适用于 Windows。给出的解决方法是简单地使用文件输出，但我很好奇是否有人知道能够将输出实际发送回 Windows 中的主线程的解决方案。

It seems clusterMap in Snow doesn't support dynamic processing. I'd like to do parallel computing with two pairs of parameters stored in a data frame. But the elapsed time of every job vary very much. If the jobs are run un-dynamically, it will be time consuming.

e.g.

Snow的并行计算结束后是否需要移除导出的变量？我发现即使调用了 clusterEvalQ，'rsession' 进程的内存也没有太大变化。我怀疑下面的示例代码存在一些内存问题

我想使用雪或雪并行运行不同的任务。每个任务可以是一段完全相互独立的代码。下面是一个示例 3 个独立的任务

我的解决方案是：

我只是想探索更灵活地运行表达式列表的可能性。就像运行回归模型列表一样，其中模型形式和数据的格式可能不一致。

我正在尝试使用 snow 包在 R 中对弹性网络模型进行评分，但我无法弄清楚如何让预测函数在集群中的多个节点上运行。下面的代码包含时序基准和产生错误的实际代码：

我已经能够通过使用多核的 Linux 机器上的分叉进行并行化，但我最终不得不使用性能相当差的 mclapply 与 unlist 相结合，并且正在寻找一种更好的方法来处理雪（顺便说一句，这对我的dev windows PC 和我的 prod Linux 服务器）。谢谢。