16

示例数据:

set.seed(1)
df <- data.frame(years=sort(rep(2005:2010, 12)), 
                 months=1:12, 
                 value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))

head(df)
  years months      value
1  2005      1 -0.6264538
2  2005      2  0.1836433
3  2005      3 -0.8356286
4  2005      4  1.5952808
5  2005      5  0.3295078
6  2005      6 -0.8204684

请告诉我,我如何将 df$value 中的 NA 替换为其他月份的中位数?“值”必须包含同一月份所有先前值的中值。也就是说,如果当前月份是 5 月,“值”必须包含 5 月份所有先前值的中值。

4

6 回答 6

15

你想使用测试is.na功能:

df$value[is.na(df$value)] <- median(df$value, na.rm=TRUE)

这表示对于所有值 where df$valueis NA,将其替换为右侧。您需要这na.rm=TRUE件作品,否则该median功能将返回NA

逐月做这个,有很多选择,但我认为plyr有最简单的语法:

library(plyr)
ddply(df, 
      .(months), 
      transform, 
      value=ifelse(is.na(value), median(value, na.rm=TRUE), value))

你也可以使用data.table. 如果您的数据很大,这是一个特别好的选择:

library(data.table)
DT <- data.table(df)
setkey(DT, months)

DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months]

还有很多其他方法,但有两种!

于 2012-08-15T15:14:23.367 回答
10

或与 ave

df <- data.frame(years=sort(rep(2005:2010, 12)),
months=1:12,
value=c(rnorm(60),NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA,NA))
df$value[is.na(df$value)] <- with(df, ave(value, months, 
   FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)]

既然有这么多答案,让我们看看哪个是最快的。

plyr2 <- function(df){
  medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]
  df
}
library(plyr)
library(data.table)
DT <- data.table(df)
setkey(DT, months)


benchmark(ave = df$value[is.na(df$value)] <- 
  with(df, ave(value, months, 
               FUN = function(x) median(x, na.rm = TRUE)))[is.na(df$value)],
          tapply = df$value[61:72] <- 
            with(df, tapply(value, months, median, na.rm=TRUE)),
          sapply = df[61:72, 3] <- sapply(split(df[1:60, 3], df[1:60, 2]), median),
          plyr = ddply(df, .(months), transform, 
                       value=ifelse(is.na(value), median(value, na.rm=TRUE), value)),
          plyr2 = plyr2(df),
          data.table = DT[,value := ifelse(is.na(value), median(value, na.rm=TRUE), value), by=months],
          order = "elapsed")
        test replications elapsed relative user.self sys.self user.child sys.child
3     sapply          100   0.209 1.000000     0.196    0.000          0         0
1        ave          100   0.260 1.244019     0.244    0.000          0         0
6 data.table          100   0.271 1.296651     0.264    0.000          0         0
2     tapply          100   0.271 1.296651     0.256    0.000          0         0
5      plyr2          100   1.675 8.014354     1.612    0.004          0         0
4       plyr          100   2.075 9.928230     2.004    0.000          0         0

我敢打赌 data.table 是最快的。

[ Matthew Dowle ] 这里定时的任务最多需要 0.02 秒 (2.075/100)。data.table认为这无关紧要。尝试设置replications1增加数据大小。或者计时 3 次运行中最快的时间也是一个常见的经验法则。这些链接中更详细的讨论:

于 2012-08-15T15:21:52.227 回答
9

还有另一种方法可以做到这一点dplyr

如果您想用它们的中位数替换所有列,请执行以下操作:

library(dplyr)
df %>% 
   mutate_all(~ifelse(is.na(.), median(., na.rm = TRUE), .))

如果要替换列的子集(例如 OP 示例中的“值”),请执行以下操作:

df %>% 
  mutate_at(vars(value), ~ifelse(is.na(.), median(., na.rm = TRUE), .))
于 2017-08-13T00:07:58.777 回答
4

这是我能想到的最强大的解决方案。它确保年份的排序正确,并且在您有多年缺失值的情况下,将正确计算所有前几个月的中位数。

# first, reshape your data so it is years by months:
library(reshape2)
tmp <- dcast(years ~ months, data=df)  # convert data to years x months
tmp <- tmp[order(tmp$years),]          # order years
# now calculate the running median on each month
library(caTools)
# function to replace NA with rolling median
tmpfun <- function(x) {
  ifelse(is.na(x), runquantile(x, k=length(x), probs=0.5, align="right"), x)
}
# apply tmpfun to each column and convert back to data.frame
tmpmed <- as.data.frame(lapply(tmp, tmpfun))
# reshape back to long and convert 'months' back to integer
res <- melt(tmpmed, "years", variable.name="months")
res$months <- as.integer(gsub("^X","",res$months))
于 2012-08-15T15:38:18.947 回答
3

坚持使用基础 R,您还可以尝试以下操作:

medians = sapply(split(df[1:60, 3], df[1:60, 2]), median)
df[61:72, 3] = medians
于 2012-08-15T15:15:11.010 回答
1

这是一种使用方式plyr,它不是很漂亮,但我认为它可以满足您的需求:

library("plyr")

# Make a separate dataframe with month as first column and median as second:
medDF <- ddply(df,.(months),summarize,median=median(value,na.rm=TRUE))

# Replace `NA` values in `df$value` with medians from the second data frame
# match() here ensures that the medians are entered in the correct elements.
df$value[is.na(df$value)] <- medDF$median[match(df$months,medDF$months)][is.na(df$value)]
于 2012-08-15T15:11:22.817 回答