-3

根据这个 github 教程：gensim/docs/notebooks/doc2vec-lee.ipynb 我应该得到大约 96% 的准确率。

这是在 jupyter 4.3.1 笔记本上使用 gensim 0.13.4 的代码，全部来自 Anaconda Navigator。

import gensim
import os
import collections
import smart_open
import random


# Set file names for train data
test_data_dir='{}'.format(os.sep).join \
([gensim.__path__[0],'test','test_data'])
lee_train_file = test_data_dir + os.sep + 'lee_background.cor'

def read_corpus(fname, tokens_only=False):
    with smart_open.smart_open(fname, encoding="iso-8859-1") as f:
        for i, line in enumerate(f):
            if tokens_only:
                yield gensim.utils.simple_preprocess(line)
            else:
                # For training data, add tags
                yield gensim.models.doc2vec.TaggedDocument \
                      (gensim.utils.simple_preprocess(line), [i])
train_corpus = list(read_corpus(lee_train_file))
model = gensim.models.doc2vec.Doc2Vec(size=50, min_count=2, iter=10)
model.build_vocab(train_corpus)
model.train(train_corpus)

ranks = []
second_ranks = []
for doc_id in range(len(train_corpus)):
    inferred_vector = model.infer_vector(train_corpus[doc_id].words)
    sims = model.docvecs.most_similar([inferred_vector] \
           , topn=len(model.docvecs))
    rank = [docid for docid, sim in sims].index(doc_id)
    ranks.append(rank)
    second_ranks.append(sims[1])
collections.Counter(ranks)

在模型评估教程中：

他们的输出是：

Counter({0: 292, 1: 8})

我正进入（状态

Counter({0: 31,
     1: 24,
     2: 16,
     3: 19,
     4: 16,
     5: 8,
     6: 8,
     7: 10,
     8: 7,
     9: 10,
     10: 12,
     11: 12,
     12: 5,
     13: 9,
      ...

为什么我没有得到任何接近他们准确性的东西？

4

2 回答 2

0

感谢您发现它。由于随机初始化和不同的 OS 数值库，在如此小的语料库上，准确性和类似文档差异很大。我删除了教程中对准确性的引用。

需要大量的语料库和数十小时的训练才能获得可重复的 doc2vec 结果。

也在Gensim 邮件列表上回答

于 2017-01-15T17:10:08.847 回答
0

我很欣赏上面@Lev Konst 的回应。正如他还提到的，这在 Gensim 邮件列表中得到了答复。

模型 = gensim.models.doc2vec.Doc2Vec( size=55 , min_count=2, iter=60 , hs=1 , negative=0 ) 产生：

Wall time: 12.5 s
Counter({0: 292, 1: 8})
Wall time: 12 s
Counter({0: 291, 1: 9})
Wall time: 16.4 s
Counter({0: 290, 1: 10})
Wall time: 20.6 s
Counter({0: 295, 1: 5})
Wall time: 21.3 s
Counter({0: 292, 1: 8})
Wall time: 20.6 s
Counter({0: 292, 1: 8})
Wall time: 16.7 s
Counter({0: 296, 1: 4})
Wall time: 15.4 s
Counter({0: 292, 1: 8})
Wall time: 15.3 s
Counter({0: 295, 1: 5})
Wall time: 14.8 s
Counter({0: 292, 1: 8})

似乎增加迭代次数和/或添加 hs=1,negative =0 将产生更接近笔记本的结果。

尽管平均而言， hs=1,negative=0 似乎会产生更好的结果。如果只是增加迭代次数，那么在某些运行中，会有一些秩不是 0 或 1。

然而，正如人们看到的那样，hs=1，负=0，排名都在前两个排名之内。

但是，我在 gensim google 组列表中被告知，这种大小的数据集低于最佳精度，并且预计会有更多变化。

谷歌群组讨论

谢谢约翰

于 2017-01-17T18:56:19.110 回答