3

我遇到了一个奇怪的问题clusterApply，我已经能够尽可能地隔离它，如下所示。首先，我从全局环境中运行以下代码：

require(parallel)
cl<-makeCluster(rep("localhost",20),"SOCK")
xl<-list()
for(i in 1:20)
  xl[[i]]<-crossprod(matrix(rnorm(1e6),1000,1000))
x<-xl
clusterExport(cl,"x",environment())
f0<-function(z) eigen(x[[z]])
system.time(clusterApply(cl,1:20,f0))
##    user  system elapsed 
##   0.332   0.264   3.334

现在，为了确保没有什么奇怪的事情发生，重新启动 R，然后运行这个类似的代码，它clusterApply从函数内部调用：

require(parallel)
cl<-makeCluster(rep("localhost",20),"SOCK")
xl<-list()
for(i in 1:20)
  xl[[i]]<-crossprod(matrix(rnorm(1e6),1000,1000))
f<-function(clust,x){
  force(x)
  clusterExport(clust,"x",environment())
  f0<-function(z) eigen(x[[z]])
  print(system.time(clusterApply(clust,1:20,f0)))
}
f(cl,xl)
##   user  system elapsed 
##  5.212   1.888  13.627

我做了一些搜索，找到了一个相关问题的答案，它指出在全局环境中未定义的函数中使用的局部变量被导出到集群。所以我想，也许问题在于x导出两次，这需要很长时间，而不是实际的函数调用。为了测试这一点，我将函数定义更改为：

f0<-function(z) eigen(get("x")[[z]])

而且我的表现仍然很慢。有谁知道这里可能会发生什么？

顺便说一句，如果我打电话

clusterApply(clust,x,eigen)

在函数内部，它就可以正常工作，就像在全局环境中一样快。当然，如果这是我要解决的问题，我会这样做，但事实并非如此，这只是一个玩具问题，可以将我遇到的问题与其他更复杂的代码隔离开来。

4

1 回答 1

3

您的表现确实受到了伤害，因为变量在每个任务中都x与函数一起发送。f0改变指称的方式f0没有区别：问题与如何使用或是否指x代无关。它与定义自身的位置有关。如果您将其定义为外部环境是全局环境，那么您的问题将得到解决。f0xxf0ff0

如果要定义f0inside f，可以通过修改f0定义后的环境来修复它：

f<-function(clust,x){
  force(x)
  clusterExport(clust,"x",environment())
  f0<-function(z) eigen(x[[z]])
  environment(f0) <- .GlobalEnv
  print(system.time(clusterApply(clust,1:20,f0)))
}

这解决了这个问题，因为全局环境永远不会与函数一起序列化。

clusterApply(clust,x,eigen)运行良好的原因eigen是未在 中定义f，因此在序列化x时未捕获。eigen

于 2013-10-19T22:12:13.173 回答