4

我开始处理稀疏矩阵，所以我对这个话题并不是很精通。我的问题是，我有一个来自单词列表的简单共现矩阵，只是一个按单词计算单词在同一上下文中出现的次数的二维共现矩阵。由于语料库不是很大，因此矩阵非常稀疏。我想将它转换为稀疏矩阵以便能够更好地处理它，最终在之后进行一些矩阵乘法。这是我到目前为止所做的（只有第一部分，剩下的只是输出格式和清理数据）：

def matrix(from_corpus):    
d = defaultdict(lambda : defaultdict(int))
        heads = set() 
        trans = set()
        for text in corpus:
            d[text[0]][text[1]] += 1
            heads.add(text[0])
            trans.add(text[1])

        return d,heads,trans

我的想法是创建一个新功能：

def matrix_to_sparse(d):
    A = sparse.lil_matrix(d)

这有道理吗？然而，这不起作用，不知何故，我不知道如何获得稀疏矩阵。我应该更好地使用 numpy 数组吗？什么是最好的方法来做到这一点。我想比较处理矩阵的许多方法。

如果有人能给我指明方向，那就太好了。

4

1 回答 1

7

以下是您如何从一组 SciPy 的 COO 格式的文档构建文档术语矩阵A，这是易用性和效率之间的良好折衷 (*)：

vocabulary = {}  # map terms to column indices
data = []        # values (maybe weights)
row = []         # row (document) indices
col = []         # column (term) indices

for i, doc in enumerate(documents):
    for term in doc:
        # get column index, adding the term to the vocabulary if needed
        j = vocabulary.setdefault(term, len(vocabulary))
        data.append(1)  # uniform weights
        row.append(i)
        col.append(j)

A = scipy.sparse.coo_matrix((data, (row, col)))

现在，要获得一个共现矩阵：

A.T * A

（忽略对角线，它与它们自身同时出现术语，即频率平方）。

或者，使用一些为你做这种事情的包，比如Gensim或scikit-learn。（我是这两个项目的贡献者，所以这可能不是公正的建议。）

于 2013-02-22T18:00:39.700 回答