3

我有一个很大的相关矩阵，62589x62589。我已经将矩阵二值化到某个阈值之上，我没有遇到任何问题，但我对基本计算时间的显着差异感到有些困惑。

我第一次这样做.... 1 的数量：425,491 ... 0 的数量：3,916,957,430 这两个数字的总和 == 62589^2，这意味着矩阵是真正二值化的。我将其保存为 Rdata 对象 (31Mb)。执行矩阵的基本计算大约需要 3.5 分钟。

fooB <- foo %*% foo

第二次，阈值较低...... 1 的数量：30,384,683 ... 0 的数量：3,886,998,238。这些总和又是 62589^2，因此是真正的二值化。Rdata 对象为 84Mb。执行与上述相同的乘法步骤目前仍在计算一个小时后。

最新矩阵中增加的 1 数量是否应该如此大幅度地增加文件大小和处理时间？

谢谢阅读

编辑：对第二个矩阵进行相同计算的最后时间是 65 分钟

Edit2：执行 is() 结果：矩阵数组结构向量

4

1 回答 1

0

这是一个可重现的示例，它可能有助于解决 package 中二进制稀疏矩阵的内存大小和处理时间Matrix：

n <- 62589

N1 <- 425491

require(Matrix)

foo <- sparseMatrix(i=sample(n, N1, TRUE), j=sample(n, N1, TRUE), dims=c(n, n))

print(object.size(foo), units="Mb")
#1.9 Mb
sum(foo)
#[1] 425464

（请注意，采样可能会成对给出一些重复项 (i,j)，因此上述数字略小于N1。）

平方：

system.time(fooB <- foo %*% foo)
#   user  system elapsed 
#   0.39    0.03    0.42

print(object.size(fooB), units="Mb")
#11.3 Mb
sum(fooB)
#[1] 2892234

立方：

system.time(fooC <- fooB %*% foo)
#   user  system elapsed 
#   2.74    0.11    2.87 

print(object.size(fooC), units="Mb")
#75 Mb
sum(fooC)
#[1] 19610641
于 2013-09-29T14:06:58.973 回答