我是神经语言处理的初学者。最近，我尝试训练一个基于 GPT-2 的带有拥抱脸转换器的文本生成模型。我向标记器添加了一些新标记，并使用model.resize_token_embeddings(len(tokenizer)). 假设我添加了 6 个新标记，我应该将这 6 个标记的权重添加到优化器吗？我该怎么做？非常感谢！
问问题
90 次
我是神经语言处理的初学者。最近，我尝试训练一个基于 GPT-2 的带有拥抱脸转换器的文本生成模型。我向标记器添加了一些新标记，并使用model.resize_token_embeddings(len(tokenizer)). 假设我添加了 6 个新标记，我应该将这 6 个标记的权重添加到优化器吗？我该怎么做？非常感谢！