0

我有两个数据框——一个很大（超过 200 万行），一个较小（大约 300,000 行）。较小的数据帧是较大数据帧的子集。唯一的区别是较大的有一个附加属性，我需要将其添加到较小的属性中。

具体来说，大数据帧的属性是（日期、时间、地址、标志），小数据帧的属性是（日期、时间、地址）。我需要以某种方式将正确的相应标志值放入每行的较小数据框中。“合并”数据帧的最终大小应该与我的较小数据帧相同，从大数据帧中丢弃未使用的行。

实现这一目标的最佳方法是什么？

更新：我用以下方法测试了合并功能：

new<-merge(data12, data2, by.x = c("Date", "Time", "Address"), 
           by.y=c("Date", "Time", "Address"))

和

new<-merge(data12, data2, by = c("Date", "Time", "Address"))

两者都返回具有正确数量的属性以及以下警告消息的空数据框（新）：

Warning message:In `[<-.factor`(`*tmp*`, ri, value = c(15640, 15843, 15843, 15161,  : invalid factor level, NAs generated
4

2 回答 2

5 
    R> df1 = data.frame(a = 1:5, b = rnorm(5))
    R> df1
      a           b
    1 1 -0.09852819
    2 2 -0.47658118
    3 3 -2.14825893
    4 4  0.82216912
    5 5 -0.36285430
    R> df2 = data.frame(a = 1:10000, c = rpois(10000, 6))
    R> head(df2)
      a c
    1 1 2
    2 2 4
    3 3 5
    4 4 3
    5 5 3
    6 6 8
    R> merge(df1, df2)
      a           b c
    1 1 -0.09852819 2
    2 2 -0.47658118 4
    3 3 -2.14825893 5
    4 4  0.82216912 3
    5 5 -0.36285430 3
于 2013-07-13T02:38:05.147 回答
3

也许 plyr 是这个操作的一个更直观的包。您需要的是 SQL 内连接。我相信这种方法比 merge() 更清晰。

这是一个简单的示例，说明如何将 join() 与您的大小的数据集一起使用。 

library(plyr)

id = c(1:2000000)
rnormal <- rnorm(id)
rbinom <- rbinom(2000000, 5,0.5)


df1 <- data.frame(id, rnormal, rbinom)
df2 <- data.frame(id = id[1:300000], rnormal = rnormal[1:300000])

您想将 rbinom 添加到 df2

joined.df <- join(df1, df2, type = "inner")

这是 join() 与 merge() 的表现

system.time(joined.df <- join(df1, df2, type = "inner"))
Joining by: id, rnormal
   user  system elapsed 
  22.44    0.53   22.80 
system.time(merged.df <- merge(df1, df2))
   user  system elapsed 
 26.212   0.605  30.201
于 2013-07-13T22:28:57.740 回答