问题标签 [snow]

嗨，我想使用 doSNOW/foreach 包创建一个命名列表。例如，最终产品将是一个列表对象。从向量命名的 dfe 说，

这样我就可以访问列表对象的列表，例如dfe[["n1"]]$aa 是列表中的元素。

这是我正在谈论的一个例子。

因此，如果我在 foreach 循环中创建的列表可以是循环后的名称和访问权限，那就太好了。这样 dfe[["n1"]]$a 可以给我向量 1,2,3。

我正在尝试调整此 R 脚本以在集群上进行速度测试。

当使用sfInit和makecluster类型的函数时"SOCK"，脚本在集群上成功运行，但没有任何速度提升 - 与我的计算机不同：当我更改detectcores()为时1，脚本运行速度比 4 核慢得多。

不过，我很确定我需要将类型更改为"MPI"，以使节点彼此进行内存通信。

但是：如果我这样做了，脚本就会停止并出现以下错误代码：

我想“小菜一碟，很简单”并添加了以下几行：

这会导致安装成功，但是：

1.如何安装这些包？

2. 我真的需要安装它们还是完全错误的方法？

非常感谢任何帮助！我知道这里有几个问题（请参阅this、this和this）。但我不熟悉 Linux 中的调用，更重要的是我对该集群没有任何权限。所以我需要在R中提出一个解决方案......

所以..这是我的代码：

在这里的问题中，OP 提到了使用kill来停止每个单独的进程，因为我不知道如果你在 Windows 10 上的 R Studio 中并行运行它时按下“停止”，连接仍然打开，就像我的傻瓜一样尝试运行相同的东西 4-5 次，所以现在我可怜的 3 核机器上大约有 15 个打开的连接，它们偷走了我所有的 CPU。我可以重新启动我的 R，但随后我必须回收所有这些未保存的对象，这将花费一个小时，我不想浪费时间。同样，链接帖子中的答案很好，但所有这些都是关于如何防止将来出现问题，而不是在遇到问题时如何实际解决问题。

所以我正在寻找类似的东西：

这个问题非常令人沮丧，任何帮助将不胜感激。

I'm trying to parallelize this example.

I have a bunch of rasters that I am trying to aggregate by week of the year. Here is what this looks like in series:

This is my attempt at parallelization using snow and pbapply.

The stackApply() method does not take a cluster argument, so I'm trying to wrap it in a pbsapply(). This returns the following error:

我想生成多个并行 r 工作人员，这些工作人员不需要等待其他工作人员完成工作才能获得新工作。

在这个例子中，第一个工人需要等待第三个工人得到一份新工作。

下一组输入将是当前运行的输出（即在此示例中为 1 到 150 之间的随机数）

我有一个看起来像这样的并行过程：

我的期望是，即使“表达式”中有错误，循环也应该继续，但它会因错误而退出，并且不会创建生成的“l”变量。

这似乎尤其与丢失的文件有关。但是，如果我将它包装在 tryCatch 中并在“表达式”中进行适当处理，它怎么会出错？

我需要估计一个转换矩阵。由于我有很多数据，我尝试使用并行运行它，foreach并尝试FBM()了bigstatsr. 而且似乎该函数并不总是返回正确的结果。（有时确实如此。）可能是该功能无法正常工作的情况吗？

这是代码正常工作的示例：

这是并不总是返回正确结果的代码：

使用snow库时也会发生同样的情况

我是否正确使用了该软件包，还是其中有错误FBM()？

一个办法：

软件包提供的文件锁丢失flock。

我正在处理 R 中的一个计算密集型包。这个包没有与 Spark 集群接口的替代实现；但是，它确实有一个可选参数来接收使用并行包创建的集群。我的问题是我可以使用 SparklyR 之类的东西连接到火花集群，然后使用该火花集群作为 makeCluster 命令的一部分传递到我的函数中吗？

我已经成功地让集群与并行工作，但我不知道如何或是否可以利用 spark 集群。

我的问题是我可以按如下方式连接到火花簇：

然后利用 makeCluster() 函数中的连接（sc 对象）？

我无法在 Windows 10 计算机上使用parallel::makeCluster或。snow::makeCluster我经常收到此错误，每次使用不同的端口号：

我使用这个 R 代码，它在另一台计算机上运行良好，但我不知道为什么相同的代码对我不起作用：

我尝试了一些建议的解决方案但没有成功，包括禁用防火墙。有没有办法避免在 Windows 计算机上阻塞端口（或解除阻塞）以并行使用 R？

如何建立从 ServiceNow 到我的 SQL 数据库的连接？获取的数据为 JSON 格式，需要输入到具有指定列的表中。创建的 API 需要将最新数据提取到 SQL 数据库中