我尝试使用 LSI 生成向量来表示文档。我在 Scipy 库中使用 svd 包。但是程序会抛出内存错误。我的矩阵大小是 100*13057。这对我的 8G RAM 来说太大了吗?
我在stackflow中搜索了这个问题。有人说我只需要在我的 64 位操作系统上安装 64 位 Python。(现在,我在 64 位操作系统上有 32 位 Python)。但是重新安装所有库太简单了。另一种意见是转换稀疏矩阵。
那么大家对这个问题有想法吗?谢谢!
raw_matrix = []
for text in forest_lsi:
raw_matrix.append( text.get_vector() )
from svd import compute_svd
print("The size of raw matrix: "+str(len(raw_matrix))+" * "+str(len(raw_matrix[0])))
matrix = compute_svd( raw_matrix )
Concole 中的消息如下:
The size of raw matrix: 100 * 13057
Original matrix:
[[1 1 2 ..., 0 0 0]
[0 3 0 ..., 0 0 0]
[0 0 0 ..., 0 0 0]
...,
[0 0 0 ..., 0 0 0]
[0 0 1 ..., 0 0 0]
[0 0 2 ..., 1 1 3]]
Traceback (most recent call last):
File "D:\workspace\PyQuEST\src\Practice\baseline_lsi.py", line 93, in <module>
matrix = compute_svd( raw_matrix )
File "D:\workspace\PyQuEST\src\Practice\svd.py", line 12, in compute_svd
U, s, V = linalg.svd( matrix )
File "D:\Program\Python26\lib\site-packages\scipy\linalg\decomp_svd.py", line 79, in svd
full_matrices=full_matrices, overwrite_a = overwrite_a)
MemoryError