在我的(大型)服务器(具有 255GB RAM 的 Windows)上,我的 optimparallel 脚本内存不足,然后与Error in serialize(data, node$con) : error writing to connection
. 虽然我会理解数据是否很大并且每个节点都会分配数据,但事实并非如此。
数据不大(大约 200 万行),需要加载 600MB RAM。使用稍小的数据集,该程序运行良好。我很感激任何帮助!
这是数据集:数据
这是我的脚本:
library(data.table)
sampler <- function(par,veh_id,routt,ccloops){
veh_id[,multi:=par]
routt[veh_id,par:=multi,on=.(vehicle_id)]
sumrout <- routt[,sum(par),.(edge_id,Ndets)]
sumdet <- routt[,.(Nmodel=sum(par)),.(edge_id,Ndets)]
routt[,par:=NULL]
geh_inside_cc <- sumdet[Ndets>0 & edge_id %in% ccloops$edge_id,mean(sqrt(2*(Ndets-Nmodel)^2/(Ndets+Nmodel)))]
geh_outside_cc <- sumdet[Ndets>0 & !(edge_id %in% ccloops$edge_id),mean(sqrt(2*(Ndets-Nmodel)^2/(Ndets+Nmodel)))]
# weight geh_inside_cc a bit higher
return(2*geh_inside_cc+geh_outside_cc)
}
routt <- fread("routt.csv")
veh_id <- fread("veh_id.csv")
ccloops <- fread("ccloops.csv")
library(optimParallel)
cl0 <- makeCluster(5) # set the number of processor cores
# registerDoParallel(cl <- makeCluster(2))
setDefaultCluster(cl=cl0) # set 'cl' as default cluster
clusterEvalQ(cl0, library("data.table"))
opt <- optimParallel(par = rep(1,nrow(veh_id)),veh_id=veh_id,routt=routt, ccloops=ccloops,fn = sampler,lower = 0, upper = 10000,
parallel=list(loginfo=TRUE, cl=cl0), control = list(maxit = 5))
stopCluster(cl0)
R 版本:4.1 optimParallel 版本:1.0-2