1

我只是无法在并行 foreach 中工作 ovun.sample。

下面是最小的工作示例。

library(doParallel)
library(ROSE) # ovun.sample

if(!getDoParRegistered()){
  registerDoParallel(cores=detectCores())
}

foreach(i=1:2,.combine=rbind, .packages=c("ROSE")) %dopar% {
  my_data = iris[iris$Species != "setosa",]
  under_data <- ovun.sample(Species ~ ., data=my_data, N=40, seed = 1)$data
}
print(r)

我得到错误：

Error in { : task 1 failed - "object 'my_data' not found"

任何想法我错过了什么。或者可能是另一个类似于 ROSE 的过/过采样包，可与 doParallel 一起使用？在 Windows 上运行。

4

3 回答 3

2

问题ovun.sample在于，不幸的是，假设变量将在全局范围内，它似乎试图执行代码： https ://github.com/cran/ROSE/blob/master/R/data_balancing_funcs.R#L26

以下代码有助于可视化为什么ovun.sample不起作用：

my.ovun.sample <- function(dataset) {
  my_data <- dataset
  ovun.sample(cls ~ ., data = my_data, method="both", N=200, seed=1)$data
}

my.ovun.sample(dataset=hacide.train)

它将产生：

adj.formula（公式，数据）中的错误：找不到对象'my_data'

因此，如果我们调试问题，当它在ovun.sample 源代码中执行第 24 行时：

sys.nframe()
# [1] 2

这意味着 R 当前处于环境 #2中。

然后我们继续调试当前范围内可用的变量： 

ls(sys.frame(2))
# [1] "Call"      "Call1"     "data"      "formula"   "m"         "method"    "N"         "na.action" "p"         "seed"     
# [11] "subset"

然后我们继续调试父范围内的内容（这将是my.ovun.sample函数）：

ls(sys.frame(1))
# [1] "dataset" "my_data"

最后在全球范围内：

ls(sys.frame(0))
# [1] "hacide.test"    "hacide.train"   "my.ovun.sample"

现在，当执行以下行时：

res <- eval(Call1)

该代码将引发错误，因为my_data在该环境中不可用。如果我们将代码更改为：

my.ovun.sample <- function(dataset) {
  my_data <- dataset
  ovun.sample(cls ~ ., data = get("my_data", sys.frame(1)), method="both", N=200, seed=1)$data
}

现在，当使用 时foreach，问题data=get("my_data", sys.frame(1))在于并行环境并不总是 1。为了解决这个问题，我们需要使用更通用的方式来发送当前帧。这是一个似乎有效的代码：

library(doParallel)
library(ROSE) # ovun.sample
data(hacide)

if (!getDoParRegistered()) {
  registerDoParallel(cores=detectCores())
}

my_results = foreach(i=1:2, .combine=rbind, .packages=c("ROSE")) %dopar% {
  my_data <- hacide.train
  my_data$i <- i

  # this sends the current_frame to global environment
  curr_frame <<- sys.nframe()

  ovun.sample(cls ~ ., data = get("my_data", sys.frame(curr_frame)), method="both", N=200, seed=1)$data
}

registerDoSEQ()

print(head(my_results))
#  cls          x1         x2 i
# 1   0  0.56444509 -0.7198744 1
# 2   0  0.73493507  0.4791222 1
# 3   0 -0.39307673  0.8098423 1
# 4   0 -0.39934508 -0.2746103 1
# 5   0 -0.06157228 -1.2983649 1
# 6   0  0.20251246 -0.6173485 1

print(tail(my_results))
#    cls        x1        x2 i
# 395   1 -2.789707 -1.497824 2
# 396   1 -2.149788 -1.708764 2
# 397   1 -0.741708 -1.973571 2
# 398   1 -2.149788 -1.708764 2
# 399   1 -1.427158 -1.415405 2
# 400   1 -2.037152 -1.127303 2

print(table(my_results$cls))
#   0   1 
# 196 204

print(table(my_results$i))
#  1   2 
# 200 200
于 2019-08-11T22:54:58.623 回答
0

循环在它查找的foreach位置具有不同的环境上下文my_data。尝试替换data=my_data为data=get("my_data", sys.frame(1)).

另一种方法是在执行之前设置数据变量，foreach并使用调用中的.export=my_data选项foreach来确保数据在执行之前被推送到每个核心。

于 2016-01-31T18:39:32.603 回答
0

在 foreach 循环中设置时my_data，尝试使用my_data <<- ...

这会将分配的结果放入全局环境中

于 2020-09-28T18:23:01.480 回答