我在网上找到了一个用于计算 tf-idf 和余弦相似度的 python 教程。我正在尝试使用它并对其进行一些更改。
问题是我有奇怪的结果,几乎没有任何意义。
例如,我正在使用 3 个文档。[doc1,doc2,doc3]
doc1 和 doc2 是相似的,而 doc3 是完全不同的。
结果在这里:
[[ 0.00000000e+00 2.20351188e-01 9.04357868e-01]
[ 2.20351188e-01 -2.22044605e-16 8.82546765e-01]
[ 9.04357868e-01 8.82546765e-01 -2.22044605e-16]]
首先,我认为主对角线上的数字应该是 1 而不是 0。之后,doc1 和 doc2 的相似度得分约为 0.22,doc1 与 doc3 的相似度得分约为 0.90。我期待相反的结果。您能否检查我的代码,也许可以帮助我理解为什么我会得到这些结果?
Doc1、doc2 和 doc3 是标记化的文本。
articles = [doc1,doc2,doc3]
corpus = []
for article in articles:
for word in article:
corpus.append(word)
def freq(word, article):
return article.count(word)
def wordCount(article):
return len(article)
def numDocsContaining(word,articles):
count = 0
for article in articles:
if word in article:
count += 1
return count
def tf(word, article):
return (freq(word,article) / float(wordCount(article)))
def idf(word, articles):
return math.log(len(articles) / (1 + numDocsContaining(word,articles)))
def tfidf(word, document, documentList):
return (tf(word,document) * idf(word,documentList))
feature_vectors=[]
for article in articles:
vec=[]
for word in corpus:
if word in article:
vec.append(tfidf(word, article, corpus))
else:
vec.append(0)
feature_vectors.append(vec)
n=len(articles)
mat = numpy.empty((n, n))
for i in xrange(0,n):
for j in xrange(0,n):
mat[i][j] = nltk.cluster.util.cosine_distance(feature_vectors[i],feature_vectors[j])
print mat