问题标签 [snowfall]

我正在尝试构建一个动画条形图，ggplot2并且magick它在“每天”的基础上增长。不幸的是，我的数据集中有一万个条目（几年中每天的日期和不同的类别），这使得处理非常缓慢。因此，我使用snow包来加快处理时间。ggplot()但是，在拆分数据并在集群中调用时遇到了麻烦。

magick需要按日期拆分数据以进行动画处理，并且snow需要按集群拆分以进行并行处理。所以，我得到了一个列表列表，这会ggplot()在clusterApply(). 列表的结构当然取决于我拆分数据的顺序（请参阅示例代码中的版本 1 和 2），但还没有版本导致成功。我想在使用时访问列表元素data$date不起作用，因为现在列表中有更多级别。

所以，我的问题是：是否可以通过ggplot2这种方式使用并行处理来构建动画图？

这是可视化我的问题的示例代码（我试图尽可能地对其进行结构化）：

谢谢你的建议！

更新：使用降雪，代码更短，我没有得到同样的错误，但设备仍然没有产生情节。

使用时

情节产生了。但是，调用out速度很慢，这就是为什么我必须避免使用此选项才能使其正常工作。

我使用包含一万个条目的大型数据集ggplot2构建了一个动画图。magick

基于我的帖子如何使用动画 ggplot2-plot 管理并行处理？，我现在不再关心加快绘图过程，而是通过使用并行处理来保存绘图的过程snowfall，因为这是代码中最耗时的部分。问题是，保存绘图需要遍历列表中的所有绘图，这使得代码非常慢。

这是演示我的问题的示例代码：

有什么建议可以加快保存过程吗？

我担心这些线路的速度：

谢谢！

我正在以这种方式盯着降雪包工作：

我想使用 sfLapply 多次计算的函数：

但是当我尝试这个

我收到错误：“checkForRemoteErrors(val) 中的错误：6 个节点产生错误；第一个错误：找不到对象‘Y’”。但是当我隐藏最后一行并更改 lasso.lars 的测试时，向量 Y 就不再有问题了：

我不明白这一点，因为这条线

应该工作，因为

能行得通。我会很感激你的帮助。

我正在尝试使用降雪量来估计多个非参数模型。到目前为止，我没有任何问题，但现在我遇到了一个我觉得无法解决的问题。

在下面的 MWE 中，我们简单地估计一个节点上的一个模型。在我的应用程序中，结构是相同的。当我尝试绘制模型结果或使用np包中的另一个函数（如npsigtest()）时，我收到错误

is.data.frame(data) 中的错误：..1 在不正确的上下文中使用，没有 ... 要查看

有谁知道是什么导致了这个问题？我对另一种关于并行估计多个模型的方法持开放态度。

MRE：

我正在尝试调整此 R 脚本以在集群上进行速度测试。

当使用sfInit和makecluster类型的函数时"SOCK"，脚本在集群上成功运行，但没有任何速度提升 - 与我的计算机不同：当我更改detectcores()为时1，脚本运行速度比 4 核慢得多。

不过，我很确定我需要将类型更改为"MPI"，以使节点彼此进行内存通信。

但是：如果我这样做了，脚本就会停止并出现以下错误代码：

我想“小菜一碟，很简单”并添加了以下几行：

这会导致安装成功，但是：

1.如何安装这些包？

2. 我真的需要安装它们还是完全错误的方法？

非常感谢任何帮助！我知道这里有几个问题（请参阅this、this和this）。但我不熟悉 Linux 中的调用，更重要的是我对该集群没有任何权限。所以我需要在R中提出一个解决方案......

所以..这是我的代码：

我想使用snowfall. 尝试使用 获取数据return()会导致集群超出内存限制。数据在某些时候不再记录。所以我想save()在每次复制后将数据写入文件。

sfInit()

尝试<-函数（x）{

保存(list=ls(),file=paste("myfilename_",x,".RData",sep=""))

}

sfClusterSetupRNG()

sfClusterCall(try,1:100)

sfStop()

我得到的错误是

gzfile 中的错误（文件，“wb”）：无效的“描述”参数

调用：sfClusterCall -> do.call -> -> save -> gzfile

另外：警告信息：

在 if (!nzchar(file)) stop("'file' must be non-empty string") 中：

条件的长度 > 1 并且只使用第一个元素

我无法在 Windows 10 计算机上使用parallel::makeCluster或。snow::makeCluster我经常收到此错误，每次使用不同的端口号：

我使用这个 R 代码，它在另一台计算机上运行良好，但我不知道为什么相同的代码对我不起作用：

我尝试了一些建议的解决方案但没有成功，包括禁用防火墙。有没有办法避免在 Windows 计算机上阻塞端口（或解除阻塞）以并行使用 R？

我在下面运行的代码示例。

我想阻止 sfLibrary 打印消息。我不知道怎么做。请帮忙...

谢谢。

编辑1：这不起作用：

suppressMessages(sfLibrary(raster))

库光栅已加载。

编辑2：这不起作用：

suppressPackageStartupMessages(sfLibrary(raster))

库光栅已加载。

集群中加载的图书馆栅格。

我目前正在开发一个 R 包，并想利用包snowfall的并行化。我想从包本身调用一个函数（如果这很重要，实际上是一个 Rcpp 包装器），因此该函数当前不在环境中浮动。

每当我尝试这样做时，我都会收到以下错误消息：

我已经尝试了一些教程和在线手册，但还没有找到如何将任何功能导出到包内的降雪的解决方案。据我所知，这个特定的函数实际上并不一定是 RcppFunction。我希望有人能帮帮忙！提前致谢！

PS：我已经找到了这篇文章，但我无法将自己的包导出到降雪 - 至少这对我来说没有意义。

我正在尝试并行运行我的 R 代码。以下是 myfunc 函数返回数字的玩具示例。

这是我得到的错误。checkForRemoteErrors(val) 中的错误：5 个节点产生错误；第一个错误：找不到函数“myfunc”