3

假设您有一个由以下命令生成的数据框：

date <- seq(as.Date("2012-09-01"), Sys.Date(), 1)
id <- rep(c("a","b","c","d"), 8)
bdate <- seq(as.Date("2012-08-01"), as.Date("2012-11-01"), 1)[sample(1:32, 32)]

# The end date should be random but greater than the begin date. However, I set it to 15 days later for simplicity.
edate <- bdate + 15

value <- seq(1, 1000, 1)[sample(1:1000, 32)]
dfa <- data.frame(id, value, bdate, edate)
names(dfa) <- c("ID", "Value", "Begin.Date", "End.Date")

目标是按以下方式按 ID（即“a”、“b”或“c”）对所有观察值求和：

Date        a   b   c
2012-08-01  XXX YYY ZZZ
2012-08-02  XXX YYY ZZZ
2012-08-03  XXX YYY ZZZ

对于每个 ID，值 XXX、YYY 和 ZZZ 表示所有观察值的总和，其中“日期”列上的日期介于原始数据框上的 dfa$Begin.Date 和 dfa$End.Date 之间。

我目前的解决方案对于大型数据集几乎没有用，所以我想知道是否有更快的方法来做到这一点。

我当前的脚本：

# Create additional data frame
dfb <- data.frame(seq(as.Date("2012-08-01"), as.Date("2012-11-01"), 1))
names(dfb)[1] <- "Date"

# Variable for unique IDs
nid <- unique(dfa$ID)

# Number of total IDs
tid <- length(nid)

for (i in c(1:tid))
{
sums <- vapply(dfb$Date, function(x)
{
temp <- subset(dfa, dfa$ID == nid[i])
temp <- subset(temp, temp$Begin.Date < x & temp$End.Date > x)
res <- sum(temp$Value)
res
}, FUN.VALUE = 0.1
)
dfb[1+i] <- sums
}

# Change column names to ID
names(dfb) <- c("Date", as.character(nid))

编辑：我在下面发布了一个更有效的答案。但是，我接受了马修的回答，因为它让我走上了正确的道路。

4

4 回答 4

3

感谢@Matthew Dowle，我发现了如何使用 data.table 包更有效地做到这一点。

# Fire up the bad boy
library(data.table)

# Create the data table with original data
value <- seq(1, 1000, 1)[sample(1:1000, 32)]
dt <- data.table(id, value, bdate, edate)
setnames(dt, names(dt), c("id", "value", "begin", "end"))

# For each pair of id and value, create a row for each day. (i.e., the first line:
# a  928  2012-08-11  2012-08-26
# will now be 15 lines. The first two columns are repeated over 15 different dates.
dt <- dt[, seq(begin[1], (last(end) - 1), by="days"), by = list(id, value)]
setnames(dt, names(dt), c(names(dt)[1:2], "date"))
setkey(dt)

# Sum each pair of id and value over the dates column
dt <- dt[, sum(value), by = list(id, date)]
setnames(dt, names(dt), c(names(dt)[1:2], "value"))
setkey(dt, date, id)

# Define the time span you would like on your final table
timespan <- dt[, seq(as.Date("2012-07-25"), max(date), by = "day")]

# Now just cross reference the time span with your actual data
setkey(dt, id, date)
dt <- dt[CJ(unique(id), timespan), ]
setnames(dt, names(dt), c(names(dt)[1:2], "value"))
setkey(dt, date)

达达！！

现在，按照我最初想要的顺序重新排列表格：

Date        a   b   c
2012-08-01  XXX YYY ZZZ
2012-08-02  XXX YYY ZZZ
2012-08-03  XXX YYY ZZZ

只需使用 reshape2 包中的 dcast 即可。

那么大家怎么看呢？太棒了，对吧？

于 2012-10-12T19:51:45.633 回答
2

有趣的。它似乎与这个问题非常相似：

将不规则的时间序列拆分为定期的月平均值

这有帮助吗？在那里，正如您的问题一样，一个技巧可以是加入流行的beginusing roll=TRUEin package data.table。特别是因为您说您拥有大型数据集。

于 2012-10-05T13:36:05.653 回答
0

我会做以下事情。首先通过检查所需日期是否介于Begin.Date和之间来对原始数据集进行子集化End.Date。然后只需使用一个简单的table函数来获取'a'through的频率'd'。

mydate <- as.Date("2012-08-25")  # take Aug 25, 2012 as an example
ind <- (dfa$Begin.Date <= mydate) & (dfa$End.Date >= mydate)
temp <- subset(dfa, ind)
out <- table(temp$ID)
于 2012-10-02T19:21:10.757 回答
-1

我不知道这是否更快（尚未对其进行基准测试），并且对于特别大的数据，它可能会创建太大的中间数据集，但无论如何我都会介绍它。

也可以设置考虑的日期范围（基于对此答案的评论的请求）。

library("plyr")
library("reshape2")

earliest.date <- as.Date("2007-01-01")
latest.date <- as.Date("2012-11-01")

dfa.long <- adply(dfa, 1, function(DF) {
  if(DF$End.Date >= earliest.date & DF$Begin.Date <= latest.date) {
    data.frame(Date=seq(max(DF$Begin.Date, earliest.date), 
                        min(DF$End.Date, latest.date), 
                        1))
  }
})

dfb <- ddply(dfa.long, .(Date, ID), summarise, sum=sum(Value))
dfb <- dcast(dfb, Date~ID, value.var="sum", fill=0)

dfa.long是一个数据集，每一行在开始/结束范围内的每个日期都重复（也限制在最早/最晚日期范围内）。然后可以直接按日期聚合ID并使用dcastfromreshape2将其转换为您想要的宽格式。

于 2012-10-02T19:29:50.893 回答