tensorflow - 在额外的训练数据上训练训练有素的 seq2seq 模型

Question

我已经用 1M 样本训练了一个 seq2seq 模型并保存了最新的检查点。现在，我有一些额外的 50K 句子对的训练数据，这在以前的训练数据中是没有的。如何在不从头开始训练的情况下使当前模型适应这些新数据？

Answer 1

您不必重新运行整个网络初始化。您可以进行增量培训。

从预训练参数训练

另一个用例是使用基本模型并使用新的训练选项（特别是优化方法和学习率）进一步训练它。使用-train_fromwithout-continue将使用从预训练模型初始化的参数开始新的训练。

请记住以与标记前一个语料库相同的方式标记您的 50K 语料库。

此外，您不必使用从 OpenNMT 0.9 开始的相同词汇表。请参阅更新词汇表部分并使用适当的值与-update_vocab选项。