问题标签 [snowfall]

我正在尝试并行运行 R 来运行回归。我正在尝试使用降雪库（但对任何方法都持开放态度）。目前，我正在运行以下回归，这需要很长时间才能运行。有人可以告诉我如何做到这一点吗？

我已经开始了以下路径：

但是这种方法充满了错误。

谢谢！

我正在开发一个 R 包，它需要使用snowfall包提供的并行化。snowfall似乎与其他包（如ggplot2,data.table等）的导入不同。我已将 , 和 包含snowfall在rlecuyer描述snow文件、名称空间文件中，并作为函数本身的导入参数。当我尝试访问此功能时，出现以下错误：

Error in sfInit() : could not find function "setDefaultClusterOptions"

该sfInit函数似乎有一个nostart/nostop参数，它说它与嵌套使用有关，sfInit但这似乎对我也没有作用。

实际代码本身使用一个sfInit（这是我得到错误的地方）、一些sfExports 和sfLibrarys 以及一个sfLapply.

snow可能的解决方案：如果我从描述文件中的导入部分移动到依赖部分，它似乎可以工作。我不知道为什么。

我已经成功地使用降雪在具有 16 个处理器的单个服务器上设置了一个集群。

现在，我正在寻找有关如何迁移到分布式模型的完整说明。我有 4 台不同的 Windows 机器，总共有 16 个内核，我想将它们用于 16 节点集群。到目前为止，我知道我可以手动设置 SOCK 连接或利用 MPI。虽然看起来有可能，但我还没有找到关于如何做的明确和完整的指示。

SOCK 路由似乎依赖于 snowlib 脚本中的代码。我可以使用以下代码从主端生成存根：

它产生以下结果：

感觉是一个合理的开始。我RSOCKnode.R在 GitHub 上的 snow 包下找到了代码：

目前尚不清楚如何在工作人员上实际启动 SOCK 侦听器，除非它被埋在snow::recvData.

调查MPI 路线，据我所知，Microsoft MPI 版本 7 是一个起点。但是，我找不到 sfCluster 的 Windows 替代方案。我能够启动 MPI 服务，但它似乎没有在端口 22 上进行侦听，并且对它的任何抨击都没有snowfall::makeCluster产生结果。我已禁用防火墙并尝试使用 makeCluster 进行测试，并使用 PuTTY 直接从 master 连接到 worker。

是否有我错过的在 Windows 工作人员上设置降雪集群的全面分步指南？我喜欢snowfall::sfClusterApplyLB并希望继续使用它，但如果有更简单的解决方案，我愿意改变方向。研究 Rmpi​​ 和并行，我找到了工作的主要方面的替代解决方案，但仍然很少或没有关于如何设置运行 Windows 的工作人员的具体细节。

由于工作环境的性质，既不能迁移到 AWS，也不能迁移到 Linux。

对于 Windows 工作节点没有明确答案的相关问题：

• 如何设置集群从节点（在 Windows 上）
• Windows 集群上的并行 R
• 创建一个同事的 Windows 7 PC 集群以在 R 中进行并行处理？

我从这个例子开始： http: //thecodeplayer.com/walkthrough/html5-canvas-snow-effect

我正在尝试添加多种形状的坠落物体。然而，只有我打电话给的最后一个似乎有效。它会覆盖屏幕上的其他内容。

我想做的另一件事是从数组中随机化颜色，但是当我添加一个随机函数时，我会得到一个疯狂的颜色变化效果。我不完全明白发生了什么，这是我第一次进入画布。似乎每帧都在重新绘制对象。这适用于雪，因为它都是白色的圆圈。

知道如何进行这些更改吗？这是我的代码（扣押警告！）：http ://codepen.io/paper_matthew/pen/vGpyeq

HTML

CSS

Javascript

我试图在 R 中使用降雪并行包来实现斐波那契函数。以下是我使用的代码。

在运行代码时，我观察了 cpu 的使用情况。虽然我要求使用 4 核，但机器始终使用 2 核。

这是否意味着，我的代码没有使用所有 4 个内核？任何人都可以帮助我指导吗？我可以优化这个性能吗？

我试图使用降雪包在 4 个内核中运行一些模拟。我已经使用'mgcv'库及其'rmvn'函数来模拟用户定义函数中的一些多元数据。我在另一个用户定义的函数中调用了 snowfall 包，用于'sfExpotAll'导出全局环境中的所有变量。但它给出了一个错误说"could not find function "rmvn"“。

然后我曾经sfExport('rmvn')单独导出它，但是它给出了一个错误说，"Unknown/unfound variable rmvn in export".

我想知道我在哪里犯了错误。任何提示将不胜感激。

我想通过 CSS3 来使用 Snow Fall Animation。但是当我使用 css 代码时，我的网站大部分内部链接都被禁用了。我也不能从网站上选择任何内容。

这是我的代码：

我在 R 降雪包中使用 sfApply 进行并行计算。有 32000 个测试要运行。该代码在开始计算时工作正常，它将创建 46 个 Rscript.exe 进程，每个 Rscript.exe 有 2% 的 cpu 使用率。整体 cpu 使用率约为 100%，结果不断写入磁盘。计算通常需要数十个小时。奇怪的是，Rscript.exe进程一个接一个地变得不活跃（cpu使用率=0），对应的cpu也是不活跃的。两天后，通过查看 cpu 使用率，只有一半的 Rscript.exe 处于活动状态，整体 cpu 使用率降低到 50%。然而，这项工作距离完成还很遥远。随着时间的推移，越来越多的 Rscript.exe 处于非活动状态，这使得工作持续时间非常非常长。我想知道是什么让进程和 cpu 核心变得不活跃？

我的电脑有 46 个逻辑核心。我在 64 位 Windows 7 中使用来自 Rstudio 的 R-3.4.0。以下“测试”变量是 32000*2 矩阵。myfunction 正在求解几个微分方程。

谢谢。

我snowfall在我的台式机上使用并行处理没有任何问题。我想在办公室使用几台备用机器来提高计算速度，并希望在远程机器上分配并行处理。

我有它工作，但遇到一个问题，即通过远程分发比仅在本地运行或在另一台（远程）机器上手动（即本地）运行代码要慢得多。

我的测试表明，远程集群上的并行处理比本地运行慢大约 14 倍。我意识到通过网络分发会有一些开销，但我认为它不会如此低效。

示例速度测试

本地机器 - 没有并行处理

本地机器 - 并行处理

远程机器 - 直接在远程机器上运行

本地机器 - 分发到远程

我的函数显然比这更密集，并且多次调用sfSapply. 我注意到分发到远程机器时运行时间的增加相同 - 大约是在远程机器上直接在 R 中运行时的 12 到 15 倍。

问题

我在做傻事吗？有一个更好的方法吗？

或者这是由于本地和远程机器之间的网络通信而不可避免的？

本地机器：Windows 10；R 3.4.3 远程机器：Ubuntu 17.10；R 3.4.3

我有一个 GIS 问题一直困扰着我一段时间。最终目标是使用 tidyverse/sf 包提取每个像素/体素/多边形的线密度。到目前为止，我有一个函数可以在我逐行执行时工作，但不能作为函数。最终的最终目标是sfLappy在snowfall包中使用此功能以并行运行。任何有关使其作为功能工作的帮助将不胜感激！所涉及的数据可以在这里找到......

https://www.dropbox.com/s/zg9o2b5x4wizafo/hexagons.gpkg?dl=0 https://www.dropbox.com/s/x2gxx36pjkutxzm/railroad_lines.gpkg?dl=0

我创建的函数，再次，逐行工作，但不是作为函数，可以在这里找到：

准备数据：

使用这里的一些代码：

创建一个状态列表：

最后，作为单核进程运行：

或者，在完美世界中，多核进程：

在此先感谢您的帮助-我完全被难住了！