python - 继续训练 FastText 模型

Question

我已经下载了一个.binFastText 模型，并按gensim如下方式使用它：

model = FastText.load_fasttext_format("cc.fr.300.bin")

我想继续训练模型以使其适应我的领域。在检查了 FastText 的 Github和Gensim 文档之后，使用此人提出的修改似乎目前不可行（尚未合并）

我错过了什么吗？

Answer 1

您可以在 Gensim 的某些版本fastText（例如 v.3.7.*）中继续训练。下面是一个“加载、推断、继续训练”的例子

from gensim.test.utils import datapath
model = load_facebook_model(datapath("crime-and-punishment.bin"))
sent = [['lord', 'of', 'the', 'rings'], ['lord', 'of', 'the', 'semi-groups']]
model.build_vocab(sent, update=True)
model.train(sentences=sent, total_examples = len(sent), epochs=5)

出于某种原因，gensim.models.fasttext.load_facebook_model()Windows 上缺少，但在 Mac 的安装中存在。或者，可以使用gensim.models.FastText.load_fasttext_format()加载预训练模型并继续训练。

以下是各种预训练的 Wiki 单词模型和向量（或此处）。

另一个例子。"注意：与 Word2Vec 的情况一样，您可以在使用 Gensim 的本机实现 fastText 的同时继续训练您的模型。 "

Answer 2

官方的 FastText 实现目前不支持这一点，尽管您可以在此处找到与此问题相关的公开票证。