我正在运行一个类似于查找标准偏差的函数......但运行时间要长得多。
我打算使用该函数来计算标准偏差的累积值,即第 1 天到第 n 天的标准偏差类型函数。
但是由于计算需要很长时间,我想在集群上运行它。
因此,我想将数据拆分,以便集群的每个节点大致在同一时间完成。例如,如果我的功能如下,单机方法将按以下方式工作:
vec <- xts(rnorm(1000),Sys.Date()-(1:1000)
lapply(1:length(vec), function(x){
Sys.sleep(30)
sd(as.numeric(vec[1:x]))
}
(注意 sys.sleep 被添加在那里以表示处理我的自定义函数所花费的额外时间)
但是,假设我想将其拆分为两台机器,而不是 1,我将如何拆分向量1:length(vec)
,以便我可以为每台机器提供 c(1:y)
机器 1 和c((y+1):length(vec))
机器 2 的列表,以便两台机器按时完成。即 y 的值是多少,这样两个过程将大致同时完成......如果我们要在 10 台机器上完成它会怎样......如何找到原始向量c(1:length(vec))
中的中断去工作...
即我会
y <- 750 # This is just a guess as to potentially where it might be.
vec <- xts(rnorm(1000),Sys.Date()-(1:1000)
# on machine 1 I would have
lapply(1:y, function(x){
Sys.sleep(30)
sd(as.numeric(vec[1:x]))
}
# and on machine 2 I would have
lapply(y+1:length(vec), function(x){
Sys.sleep(30)
sd(as.numeric(vec[1:x]))
}