1

谁能推荐一组工具来对稀疏输入数据执行标准 NMF 应用程序 [矩阵大小为 50kx50k]，谢谢！

4

1 回答 1

6

scikit-learn 有一个用于稀疏矩阵的 NMF 实现。不过，您将需要来自 GitHub 的最新版本，因为所有已发布的版本（直到并包括 0.14）都存在可伸缩性问题。下面是一个演示。

加载一些数据：二十个新闻组文本语料库。

>>> from sklearn.datasets import fetch_20newsgroups
>>> from sklearn.decomposition import NMF
>>> from sklearn.feature_extraction.text import CountVectorizer
>>> from sklearn.preprocessing import normalize
>>> data = fetch_20newsgroups().data
>>> X = CountVectorizer(dtype=float).fit_transform(data)
>>> X = normalize(X)
>>> X
<11314x130107 sparse matrix of type '<type 'numpy.float64'>'
    with 1787565 stored elements in Compressed Sparse Column format>

现在拟合具有 10 个分量的 NMF 模型。

>>> nmf = NMF(n_components=10, tol=.01)
>>> Xnmf = nmf.fit_transform(X)

我调整了容差选项以在几秒钟内实现收敛。使用默认容差，需要更长的时间。此问题的内存使用量约为 360MB。

免责声明：我是这个实现的贡献者，所以这不是公正的建议。

于 2013-09-02T15:34:22.507 回答