4

object.size除了（或让它执行得更快的方法）之外，是否存在一种更快的方法来识别对象大小？

start.time <- Sys.time()
object.size(DB.raw)
#  5361302280 bytes
Sys.time() - start.time
#  Time difference of 1.644485 mins  <~~~  A minute and a half simply
                                           to show the size

print.dims(DB.raw)
#  43,581,894 rows X 15 cols

我也想知道为什么计算对象大小需要这么长时间？大概对于每一列，它必须遍历每一行才能找到该列的总大小？

4

2 回答 2

6

在 Windows 机器上，您可能能够在创建前后使用gc()和得到非常接近的估计。memory.size()DB.raw

gc()
x <- memory.size()
# DB.raw created, extra variables rm'ed
gc()
memory.size() - x # estimate of DB.raw size in Mb
# object.size(DB.raw) / 1048576 # for comparison
于 2013-10-23T18:54:46.157 回答
2

花费很长时间的最可能原因是您有角色对象。这似乎是因为它需要计算字符数才能确定大小，尽管我不确定。

x<-rep(paste0(letters[1:3],collapse=""),1e8)
system.time(object.size(x))
##  user  system elapsed 
## 1.608   0.592   2.202 
x<-rep(0.5,1e9)
system.time(object.size(x))
## user  system elapsed 
## 0.000   0.000   0.001

我们可以看到更长的字符串占用更多空间（至少在某些情况下），如下所示：

> x<-replicate(1e5,paste0(letters[sample(26,3)],collapse=""))
> x1<-replicate(1e5,paste0(letters[sample(26,2)],collapse=""))
> object.size(x)
1547544 bytes
> object.size(x1)
831240 bytes

如果您需要确切的尺寸，我想不出任何办法。但是，您可以通过对大量行进行采样并调用object.size()样本来获得每行大小的估计值，然后乘以您拥有的总行数，从而获得对大小的高度准确估计。

例如：

estObjectSize<-function(x,n=1e5){
  length(x)*object.size(sample(x,n))/n
}
x0<-sapply(1:20,function(x) paste0(letters[1:x],collapse=""))
x<-x0[sample(20,1e8,T)]

> system.time(size<-object.size(x))
   user  system elapsed 
  1.632   0.856   2.495 
> system.time(estSize<-estObjectSize(x))
   user  system elapsed 
  0.012   0.000   0.013 
> size
800001184 bytes
> estSize
801184000 bytes

您必须稍微调整代码以使其适用于数据框，但这就是想法。

补充一点：看起来每个字符存储字符串数组的字节数取决于一些事情，包括字符串内部和在字符串构造期间使用的多余分配的缓冲区内存。这当然不像乘以字符串的数量那么简单，而且需要更长的时间也就不足为奇了：

> bytesPerString<-sapply(1:20,
+   function(x)
+       object.size(replicate(1e5,paste0(letters[sample(26,x)],collapse="")))/1e5)
> bytesPerString
 [1]  8.01288  8.31240 15.47928 49.87848 55.71144 55.98552 55.99848 64.00040
 [9] 64.00040 64.00040 64.00040 64.00040 64.00040 64.00040 64.00040 80.00040
[17] 80.00040 80.00040 80.00040 80.00040
> bytesPerChar<-(bytesPerString-8)/(1:20+1)
> bytesPerChar
 [1] 0.0064400 0.1041333 1.8698200 8.3756960 7.9519067 6.8550743 5.9998100
 [8] 6.2222667 5.6000400 5.0909455 4.6667000 4.3077231 4.0000286 3.7333600
[15] 3.5000250 4.2353176 4.0000222 3.7894947 3.6000200 3.4285905
于 2013-10-23T19:05:42.513 回答