5

我有多个包含多个句子的文档。我想使用doc2vec通过使用sklearn来聚类（例如 k-means）句子向量。

因此，这个想法是将相似的句子组合成几个集群。但是，我不清楚是否必须分别训练每个文档，然后在句子向量上使用聚类算法。或者，如果我可以从 doc2vec 推断出一个句子向量，而无需训练每个新句子。

现在这是我的代码片段：

sentenceLabeled = []
for sentenceID, sentence in enumerate(example_sentences):
    sentenceL = TaggedDocument(words=sentence.split(), tags = ['SENT_%s' %sentenceID])
    sentenceLabeled.append(sentenceL)

model = Doc2Vec(size=300, window=10, min_count=0, workers=11, alpha=0.025, 
min_alpha=0.025)
model.build_vocab(sentenceLabeled)
for epoch in range(20):
    model.train(sentenceLabeled)
    model.alpha -= 0.002  # decrease the learning rate
    model.min_alpha = model.alpha  # fix the learning rate, no decay
textVect = model.docvecs.doctag_syn0

## K-means ##
num_clusters = 3
km = KMeans(n_clusters=num_clusters)
km.fit(textVect)
clusters = km.labels_.tolist()

## Print Sentence Clusters ##
cluster_info = {'sentence': example_sentences, 'cluster' : clusters}
sentenceDF = pd.DataFrame(cluster_info, index=[clusters], columns = ['sentence','cluster'])

for num in range(num_clusters):
     print()
     print("Sentence cluster %d: " %int(num+1), end='')
     print()
     for sentence in sentenceDF.ix[num]['sentence'].values.tolist():
        print(' %s ' %sentence, end='')
        print()
    print()

基本上，我现在正在做的是对文档中每个标记的句子进行训练。但是，如果有想法可以以更简单的方式完成。

最终，包含相似单词的句子应该聚集在一起并打印出来。此时单独训练每个文档，并没有清楚地揭示集群内的任何逻辑。

希望有人可以引导我朝着正确的方向前进。谢谢。

4

2 回答 2

1
  • 你看过你得到的词向量吗（使用 DM=1 算法设置）？当您检查它们时，它们是否显示出良好的相似性？
  • 一旦你有一些看起来合理的相似词向量工作，我会尝试使用 tSNE 来减少你的维度。如果需要，您可以先使用 PCA 来减少到 50 个左右的尺寸。认为两者都在sklearn中。然后查看您的文档是否正在形成不同的组。
  • 还要查看你的 most_similar() 文档向量，并在已知的训练句子上尝试 infer_vector()，如果一切正常，你应该得到非常接近 1 的相似度。（infer_vector() 每次的结果总是有点不同，所以永远不会完全相同！）
于 2017-04-19T17:09:51.263 回答
0

对于您的用例，所有文档中的所有句子都应该一起训练。本质上，您应该将句子视为迷你文档。然后它们都共享相同的词汇和语义空间。

于 2017-04-19T08:34:05.167 回答