5

tl;dr：在真实长度过度分配警告之后有哪些潜在问题？

最近我做了一件像这样愚蠢的事情：

m <- matrix(seq_len(1e4),nrow=10)

library(data.table)
DT <- data.table(id=rep(1:2,each=5),m)
DT[,id2:=id]

#Warning message:
#  In `[.data.table`(DT, , `:=`(id2, id)) :
#  tl (2002) is greater than 1000 items over-allocated (ncol = 1001). 
#     If you didn't set the datatable.alloccol option very large, 
#     please report this to datatable-help including the result of sessionInfo().

DT[,lapply(.SD,mean),by=id2]

经过一番搜索，很明显警告是通过引用具有太多列的 data.table 添加列而产生的，我发现了一些相当技术性的解释（例如this），我可能并不完全理解。

我知道我可以避免这个问题（例如， use data.table(id=rep(1:2,each=5),stack(as.data.frame(m)))），但我想知道在这样的警告之后是否会出现问题（除了使用宽格式 data.table 带来的明显性能劣势）。

R version 2.15.3 (2013-03-01)
Platform: x86_64-w64-mingw32/x64 (64-bit)

locale:
  [1] LC_COLLATE=German_Germany.1252  LC_CTYPE=German_Germany.1252    LC_MONETARY=German_Germany.1252 LC_NUMERIC=C                    LC_TIME=German_Germany.1252    

attached base packages:
  [1] stats     graphics  grDevices datasets  utils     methods   base     

other attached packages:
  [1] data.table_1.8.8 fortunes_1.5-0
4

1 回答 1

6

好问题。默认情况下 v1.8.8 ：

> options()$datatable.alloccol
max(100, 2 * ncol(DT))

这可能不是最好的默认值。尝试改变它：

options(datatable.alloccol = quote(max(100L, ncol(DT)+64L))

更新：我现在已经将 v1.8.9 中的默认值更改为该值。

该选项仅控制分配了多少备用列指针插槽，以便:=可以通过引用添加列。

来自v1.8.9的NEWS中的注释

于 2013-03-15T16:57:06.627 回答