在 R 中,我正在尝试使用不同的窗口宽度对一个大向量(最多 400k 个元素)进行非常快速的滚动平均值,然后为每个窗口宽度汇总每年的最大值的数据。希望下面的例子很清楚。我已经尝试了几种方法,到目前为止最快的方法似乎是roll_mean
从包RcppRoll
中使用运行平均值,并aggregate
选择最大值。请注意内存需求是一个问题:下面的版本需要很少的内存,因为它一次只做一个滚动平均值和聚合;这是首选。
#Example data frame of 10k measurements from 2001 to 2014
n <- 100000
df <- data.frame(rawdata=rnorm(n),
year=sort(sample(2001:2014, size=n, replace=TRUE))
)
ww <- 1:120 #Vector of window widths
dfsumm <- as.data.frame(matrix(nrow=14, ncol=121))
dfsumm[,1] <- 2001:2014
colnames(dfsumm) <- c("year", paste0("D=", ww))
system.time(for (i in 1:length(ww)) {
#Do the rolling mean for this ww
df$tmp <- roll_mean(df$rawdata, ww[i], na.rm=TRUE, fill=NA)
#Aggregate maxima for each year
dfsumm[,i+1] <- aggregate(data=df, tmp ~ year, max)[,2]
}) #28s on my machine
dfsumm
这给出了所需的输出:adata.frame
有 15 行(从 2001 年到 2015 年)和 120 列(窗口宽度),其中包含每个 ww 和每年的最大值。
但是,计算仍然需要很长时间(因为我必须计算数千个)。我尝试过使用其他选项,即dplyr
and data.table
,但由于我对这些软件包缺乏了解,我一直无法找到更快的东西。
使用单核(代码已经在其他地方并行化)是最快的方法吗?