1

我想将我的数据（data.frame）从长格式转换为宽格式，并将“ITEM”的值作为列和值（“ITEM2”）（见下文）：

长格式

宽幅

因此我使用 reshape2 包中的 dcast 函数：

df <= dcast(df,SEQUENCEID + EVENTID ~ ITEM, value.var="ITEM2")

这样做一切正常。

但是在我的数据框中有 7m 条数据记录，我一直在为内存限制而苦苦挣扎。因此，我决定在 ffdf 中转换我的 data.frame 并使用 ffbase 包中的 ffdfdply 函数来投射框架。

为了确保每个拆分都以相同的顺序具有相同的列，我提前从“ITEM”中提取值，如果不存在则附加 N/A 列并按字母顺序对所有列进行排序。

在整个代码下方：

#Extract items 
item<-as.character(unique(lo_raw$ITEM))

#Transform to ffdf
ff_raw<-as.ffdf(lo_raw)
ff_raw$SEQUENCEID<-as.character.ff(ff_raw$SEQUENCEID)

#Function dcast
castff<-function(df,item){
   df=dcast(df,SEQUENCEID + EVENTID ~ ITEM, value.var="ITEM2")

   for(i in item){
      if (!(i %in% colnames(df))){
      df[,i]<-NA
   }
  }

  df<-df[,order(colnames(df))]
  df
}

#Apply dcast
ff_pivot<-ffdfdply(x=ff_raw,split=ff_raw$SEQUENCEID,FUN=function(df,item) castff(df,item),item=item,BATCHBYTES=1000000,trace=TRUE)

不幸的是，在将第二个拆分的结果附加到第一个拆分时出现以下错误（带有跟踪）：

2016-12-08 09:25:35, calculating split sizes
2016-12-08 09:25:37, building up split locations
2016-12-08 09:25:51, working on split 1/139, extracting data in RAM of 106 split elements, totalling, 0.00093 GB, while max specified data specified using BATCHBYTES is 0.00093 GB
2016-12-08 09:25:52, ... applying FUN to selected data
2016-12-08 09:25:55, ... appending result to the output ffdf
2016-12-08 09:26:02, working on split 2/139, extracting data in RAM of 172 split elements, totalling, 0.00093 GB, while max specified data specified using BATCHBYTES is 0.00093 GB
2016-12-08 09:26:03, ... applying FUN to selected data
2016-12-08 09:26:05, ... appending result to the output ffdf
Error in ff(vmode = "integer", length = length(x), levels = as.character(levs)) : unable to open
In addition: Warning message:
In is.na(levs) : is.na() applied to non-(list or vector) of type 'NULL'

在不附加的情况下只计算一个带有较少记录的拆分可以正常工作。

有人可以帮忙吗？

谢谢你。

4

0 回答 0