python - 加载torchtext模型+词汇进行推理的正确方法

Question

我训练了一个 Transformer 模型进行翻译。保存的模型在我的测试集上达到了 ~27 BLEU。当我在新会话中重新加载模型时，BLEU 分数下降到 ~0.5。我设法发现问题可能是我每次开始会话时都重新构建我的词汇而不是从内存中加载它，并且 itos 映射每次都在变化（我将加载的数据随机拆分为训练、开发、测试和从火车构建词汇）。

这让我想到：有没有正确的方法从记忆中加载词汇，以便我的推理结果保持一致？请注意，我还需要继续训练模型，因此词汇需要成为 TabularDataset 的一部分。