1

这里有一个类似的问题Gensim Doc2Vec Exception AttributeError: 'str' object has no attribute 'words'，但它没有得到任何有用的答案。

我正在尝试在 20newsgroups 语料库上训练 Doc2Vec。这是我构建词汇的方法：

from sklearn.datasets import fetch_20newsgroups
    def get_data(subset):
        newsgroups_data = fetch_20newsgroups(subset=subset, remove=('headers', 'footers', 'quotes'))
        docs = []
        for news_no, news in enumerate(newsgroups_data.data):       
            tokens = gensim.utils.to_unicode(news).split() 
            if len(tokens) == 0:
                continue
            sentiment =  newsgroups_data.target[news_no]
            tags = ['SENT_'+ str(news_no), str(sentiment)]
            docs.append(TaggedDocument(tokens, tags))
        return docs

    train_docs = get_data('train')
    test_docs = get_data('test')
    alldocs = train_docs + test_docs

    model = Doc2Vec(dm=dm, size=size, window=window, alpha = alpha, negative=negative, sample=sample, min_count = min_count, workers=cores, iter=passes)
    model.build_vocab(alldocs)

然后我训练模型并保存结果：

model.train(train_docs, total_examples = len(train_docs), epochs = model.iter)
model.train_words = False
model.train_labels = True
model.train(test_docs, total_examples = len(test_docs), epochs = model.iter)

model.save(output)

当我尝试加载模型时出现问题： 屏幕

我试过了：

  • 使用 LabeledSentence 而不是 TaggedDocument

  • 产生 TaggedDocument 而不是将它们附加到列表中

  • 将 min_count 设置为 1，因此不会忽略任何单词（以防万一）

问题也出现在 python2 和 python3 上。

请帮我解决这个问题。

4

1 回答 1

1

您已在非现场 (imgur) 的“屏幕”链接中隐藏了最重要的信息——触发错误的确切代码和错误文本本身。（这将是剪切和粘贴到问题中的理想文本，而不是其他似乎运行正常但不会触发错误的步骤。）

看那个截图，有一行：

model = Doc2Vec("20ng_infer")

...触发错误。

请注意，为初始化方法记录Doc2Vec()的所有参数都不是纯字符串，就像"20ng_infer"上一行中的参数一样——所以这不太可能做任何有用的事情。

如果尝试加载以前用 保存的模型model.save()，您应该使用Doc2Vec.load()– 它将接受一个描述本地文件路径的字符串，从中加载模型。所以试试：

model = Doc2Vec.load("20ng_infer")

（另请注意，较大的模型可能会保存到多个文件中，所有文件都以您提供给的字符串开头save()，并且这些文件必须一起保存/移动以load()在将来再次重新使用它们。）

于 2017-04-14T17:41:48.987 回答