2

我在 FastText 模型中调用“most_similar”时遇到了问题，据我了解，Fasttext 应该能够获得不在词汇表中的单词的结果，但我得到一个“不在词汇表中”的错误，甚至在保存和加载之前，调用非常好。

这是来自 juypter 的代码。

import gensim as gensim

model = gensim.models.FastText(my_sentences, size=100, window=5, min_count=3, workers=4, sg=1)
model.wv.most_similar(positive=['iPhone 6'])

退货

[('iPhone7', 0.942690372467041),
('iPhone7.', 0.9395840764045715),
('iPhone5s', 0.9379133582115173),
('iPhone6s', 0.9338586330413818),
('iPhone5S', 0.9335439801216125),
('iPhone5.', 0.9318809509277344),
('iPhone®', 0.9314558506011963),
('iPhone6', 0.9268479347229004),
('iPhone4s', 0.9223971366882324),
('iPhone5', 0.9212019443511963)]

到目前为止一切顺利，现在我保存模型。

model.wv.save_word2vec_format("example_fasttext.txt", binary=False)

然后再次加载它：

from gensim.models import KeyedVectors
new_model = KeyedVectors.load_word2vec_format('example_fasttext.txt', binary=False, limit=50000)

然后我从刚刚加载的模型中进行确切的 most_similar 调用：

new_model.most_similar(positive=['iPhone 6'])

但现在的结果是：

KeyError: "word 'iPhone 6' not in vocabulary"

知道我做错了什么吗？

4

2 回答 2

0

您的问题可能出在方法的limit参数中load_word2vec_format。您在这里所做的只是为 50000 个最常用的单词加载模型。如果iPhone 6没有出现足够的次数，则说明您没有加载它。

尝试

new_model = KeyedVectors.load_word2vec_format('example_fasttext.txt', binary=False)
于 2018-04-18T12:50:28.910 回答
0

我和你有同样的问题，我想我开始明白发生了什么。

基本上，当您将模型保存为 a.txt或 a.vec时，您只保存了 word-vectors ；不是n-grams（保存在模型的二进制版本中），它允许您概括/近似词汇外的单词。

我建议你保存你的模型：

your_fasttext_model.save(file_path)
于 2018-07-23T13:47:21.727 回答