4

我有一个矩阵 ，events其中包含 500 万个事件的发生时间。这 500 万个事件中的每一个都有一个从 1 到 2000 的“类型”。矩阵的一个非常简化的版本如下所示。“时间”的单位是自 1970 年以来的秒。所有事件都发生在 2012 年 1 月 1 日之后。

>events
      type          times
      1           1352861760
      1           1362377700
      2           1365491820
      2           1368216180
      2           1362088800
      2           1362377700

我试图将自 2012 年 1 月 1 日以来的时间划分为 5 分钟的存储桶，然后用每个存储桶i中发生的每种类型事件的数量填充每个存储桶。我的代码如下。请注意，这types是一个包含从 1 到 2000 的每种可能类型的向量，并by设置为 300，因为这是 5 分钟内的秒数。

for(i in 1:length(types)){
    local <- events[events$type==types[i],c("type", "times")]
    assign(sprintf("a%d", i),table(cut(local$times, breaks=seq(range(events$times)[1],range(events$times)[2], by=300))))
}

这会产生变量a1，其中包含一个行向量，该向量表示每个 5 分钟存储桶中有a2000多少类型的出现。i

然后我继续找到“a1”和“a2000”之间的所有成对相关性。

有没有办法优化我上面提供的代码块？它运行得很慢，但我想不出办法让它更快。也许桶太多，时间太少。

任何见解将不胜感激。

可重现的例子：

>head(events)
     type         times
      12           1308575460
      12           1308676680
      12           1308825420
      12           1309152660
      12           1309879140
      25           1309946460

xevents <- xts(events[,"type"],.POSIXct(events[,"times"]))
ep <- endpoints(xevents, "minutes", 5)
counts <- period.apply(xevents, ep, tabulate, nbins=length(types))

>head(counts)
                       1    2    3    4    5   6    7    8    9   10   11  12   13   14
2011-06-20 09:11:00    0    0    0    0    0   0    0    0    0    0    0   1    0   0
2011-06-21 13:18:00    0    0    0    0    0   0    0    0    0    0    0   1    0   0
2011-06-23 06:37:00    0    0    0    0    0   0    0    0    0    0    0   1    0   0
2011-06-27 01:31:00    0    0    0    0    0   0    0    0    0    0    0   1    0   0
2011-07-05 11:19:00    0    0    0    0    0   0    0    0    0    0    0   1    0   0
2011-07-06 06:01:00    0    0    0    0    0   0    0    0    0    0    0   0    0   0

>> ep[1:20]
[1]  0  1  2  3  4  5  6  7  8  9 10 12 20 21 22 23 24 25 26 27

上面是我一直在使用的代码，但问题是它没有增加 5 分钟：它只是随着实际事件的发生而增加。

4

3 回答 3

3

我会为此使用 xts 包。period.apply使用和函数可以很容易地在不重叠的 5 分钟间隔内endpoints运行函数。

# create sample data
library(xts)
set.seed(21)
N <- 1e6
events <- cbind(sample(2000, N, replace=TRUE),
  as.POSIXct("2012-01-01")+sample(1e7,N))
colnames(events) <- c("type","times")
# create xts object
xevents <- xts(events[,"type"], .POSIXct(events[,"times"]))
# find the last row of each non-overlapping 5-minute interval
ep <- endpoints(xevents, "minutes", 5)
# count the number of occurrences of each "type"
counts <- period.apply(xevents, ep, tabulate, nbins=2000)
# set colnames
colnames(counts) <- paste0("a",1:ncol(counts))
# calculate correlation
#cc <- cor(counts)

更新以回应 OP 的评论/编辑：

# Create a sequence of 5-minute steps, from the actual start of the data
m5 <- seq(round(start(xevents),'mins'), end(xevents), by='5 mins')
# Create a sequence of 5-minute steps, from the start of 2012-01-01
m5 <- seq(as.POSIXct("2012-01-01"), end(xevents), by='5 mins')
# merge xevents with empty 5-minute xts object, and
# subtract 1 second, so endpoints are at end of each 5-minute interval
xevents5 <- merge(xevents, xts(,m5-1))
ep5 <- endpoints(xevents5, "minutes", 5)
counts5 <- period.apply(xevents5, ep5, tabulate, nbins=2000)
colnames(counts5) <- paste0("a",1:ncol(counts5))
# align to the beginning of each 5-minute interval, if you want
counts5 <- align.time(counts5,60*5)
于 2013-07-24T21:46:56.493 回答
3

如果有 500 万条记录，我可能会使用data.table. 你可以这样实现：

#  First we make a sequence of the buckets from initial time to at least the end time + 5 minutes
buckets <- seq( from = min( df$times ) , by = 300 , to = max( df$times )+300 )

require( data.table )
DT <- data.table( df )

#  Work out what bucket each time is in
DT[ , list( Bucket = which.max(times <= buckets ) ) , by = "times" ]

#  Aggregate events by type and time bucket
DT[ , list( Count = length( type ) ) , by = list( type, bucket) ]
   type bucket Count
1:    1      1     1
2:    1  31721     1
3:    2  42102     1
4:    2  51183     1
5:    2  30758     1
6:    2  31721     1
于 2013-07-24T21:59:38.830 回答
1

cut它在rangeof之内times，就像你做的那样。之后，您可以使用table或制表xtabs，但对于整个数据集，生成矩阵。类似于以下内容：

r <- trunc(range(events$times) / 300) * 300
events$times.bin <- cut(events$times, seq(r[1], r[2] + 300, by=300))
xtabs(~type+times.bin, events, drop.unused.levels=T)

决定你是否愿意drop.unused.levels。使用这种数据，您可能还想创建一个sparse矩阵。

于 2013-07-24T21:29:08.273 回答