0

我正在尝试使用foreachand将以下代码转换为并行%dopar%。

library(doSNOW)
library(foreach)
cl<- makeCluster(4, type = "SOCK")
registerDoSNOW(cl)

min_subid <- c()
max_subid <- c()
p_typ <- c()
p_nm <- c()
st_tm<-c()
end_tm <- c()
supp <- c()
chart_type <- c()

foreach(j =1:noOfPhases)    %dopar%
{
  start_time    <-phases[j, colnames(phases)=="StartTime"]
  end_time      <-phases[j, colnames(phases)=="StopTime"]
  phase_type    <-phases[j, colnames(phases)=="Phase_Type_Id"]
  phase_name    <-phases[j, colnames(phases)=="Phase_Name"]
  suppress      <-phases[j, colnames(phases)=="Suppression_Time"]
  chart_typ     <-phases[j, colnames(phases)=="chartType"]

  conft<-(masterData$Time.Subgroup>=start_time & masterData$Time.Subgroup<=end_time)

  masterData[which(conft), colnames(masterData)=="Phase_Type"]<-phase_type
  masterData[which(conft), colnames(masterData)=="Phase_Name"]<-phase_name

  min_subid <- rbind(min_subid, min(which(conft)))
  max_subid <- rbind(max_subid, max(which(conft)))
  p_typ     <- rbind( p_typ, masterData$Phase_Type[min(which(conft))])
  p_nm      <- rbind( p_nm, masterData$Phase_Name[min(which(conft))])
  st_tm     <- rbind( st_tm, as.character(start_time))
  end_tm    <- rbind( end_tm, as.character(end_time))
  supp      <- rbind(supp,as.character(suppress))
  chart_type <- rbind(chart_type,as.character(chart_typ))

  phase_info <- data.frame(Subgrp_No_Start=min_subid, Subgrp_No_End=max_subid, Phase_Type=p_typ, 
                           Phase_Name=p_nm, Start_Time=st_tm, Stop_Time=end_tm,
                                             Suppression_Time=supp,ChartType=chart_type) 
}

 phase_output<-merge(phase_info, phases, by.x=c("Start_Time",
   "Stop_Time","ChartType"), by.y=c("StartTime", "StopTime","chartType"))

上面的代码在%do%包含而不是%dopar%. 任何人都可以帮助我理解为什么在并行运行（%dopar%）并在顺序（%do%）上成功运行时出现以下错误

Error in merge(phase_info, phases, by.x = c("Start_Time", "Stop_Time",  : 
  object 'phase_info' not found
4

1 回答 1

5

解决方案非常简单，但我首先解释当您执行代码以解释错误时发生的情况。

在您的foreach块中发生的情况是，phase_info为 的每个值创建一个数据框 ( )，j并将它们一起返回到列表中。但是，由于您的分配phase_info <- data.frame(...)位于内部foreach而不是外部，因此该列表不会存储在任何地方并被丢弃。造成混淆的原因是，在使用时，您在主节点%do%上按顺序创建所有数据帧，而在使用时，这些帧是在工作节点上并行创建的。如果您使用了因为在其工作区中不存在，则在主节点上执行以下命令会导致错误。还要注意，当像上面那样使用时，每次迭代%dopar%merge%dopar%phase_info%do%foreach覆盖之前的结果（即你只得到最后一次迭代的结果）。

这个小改动修复了它：

phase_info <- foreach(...) %dopar% {
    ...

    data.frame(Subgrp_No_Start=min_subid, Subgrp_No_End=max_subid, Phase_Type=p_typ, 
                           Phase_Name=p_nm, Start_Time=st_tm, Stop_Time=end_tm,
                                             Suppression_Time=supp,ChartType=chart_type)
    # No need to give it a name as it will be returned and the name forgotten
}
phase_output <- merge(phase_info, ...)

正如我上面提到的，phase_info现在将是一个列表，其中每个元素都是一个数据框。我现在只是在猜测，但您可能想按元素执行merge，如下所示：

phase_output <- lapply(phase_info, merge, phases, by.x=c("Start_Time",
     "Stop_Time","ChartType"), by.y=c("StartTime", "StopTime","chartType"))
于 2012-09-29T07:50:08.133 回答