python - 非常大和非常稀疏的非负矩阵分解

Question

我有一个非常大且稀疏的矩阵（531K x 315K），总细胞数约为 1670 亿。非零值只有 1。非零值的总数约为 45K。是否有有效的 NMF 包来解决我的问题？我知道有几个包，它们只适用于小尺寸的数据矩阵。任何想法都有帮助。提前致谢。

Answer 1

scikit-learn将轻松处理此问题！

代码：

from time import perf_counter as pc
import numpy as np
import scipy.sparse as sps
from sklearn.decomposition import NMF

""" Create sparse data """
nnz_i, nnz_j, nnz_val = np.random.choice(531000, size=45000), \
                        np.random.choice(315000, size=45000), \
                        np.random.random(size=45000)
X =  sps.csr_matrix((nnz_val, (nnz_i, nnz_j)), shape=(531000, 315000))
print('X-shape: ', X.shape, ' X nnzs: ', X.nnz)
print('type(X): ', type(X))
# <class 'scipy.sparse.csr.csr_matrix'> #                          !!!!!!!!!!

""" NMF """
model = NMF(n_components=50, init='random', random_state=0, verbose=True)

start_time = pc()
W = model.fit_transform(X)
end_time = pc()

print('Used (secs): ', end_time - start_time)
print(model.reconstruction_err_)
print(model.n_iter_)

输出：

X-shape:  (531000, 315000)  X nnzs:  45000
type(X):  <class 'scipy.sparse.csr.csr_matrix'>
violation: 1.0
violation: 0.2318929397542804
violation: 0.11045394409727402
violation: 0.08104138988253409
...
violation: 9.659665625799714e-05
Converged at iteration 71
Used (secs):  247.94092973091756
122.27109041
70

评论：

• 确保使用稀疏矩阵作为输入，否则不能利用稀疏性
• 我使用的是0.19.1版本，所以使用了乘法更新求解器 (>= 0.19)
  • 但是旧的基于 CD 的求解器也应该处理这个问题！
• 以上是使用< 800 MB 的内存

附加约束

正如评论中提到的，OP 希望添加额外的约束，但仍然没有正式指定这些约束。

这将需要一些优化过程的全新实现，包括一些理论步法（取决于约束）。

作为替代方案，这可以通过通用凸编程求解器来解决。例如，由 cvxpy 制定并由 SCS 解决。当然，交替最小化过程也需要完成（因为联合问题是非凸的），它的扩展性会比这个专门的 sklearn 实现更糟糕。但它可能适用于 OP 数据。