python - 在语义上对文档中的词进行无监督聚类

Question

我想根据语义相似性对单词进行聚类。目前我有一个文档列表，其中包含检测到的名词短语。我想从文档中获得的这些名词中进行聚类，并在语义上对它们进行无监督聚类？

我看过 wordnet 和 gensim 库。关于哪个可以真正帮助根据语义相似性获得所需的词组的任何建议？

Answer 1

对于基于短语共现的相似性（在文档中出现得更频繁的短语会更相似），您可以使用 gensim。

查看潜在语义分析和潜在 Dirichlet 分配：http ://radimrehurek.com/gensim/tut2.html#available-transformations

根据您希望集群做什么，您可以将 LSI/LDA 主题直接用作集群。或者对获得的潜在短语向量等进行聚类。