deep-learning - 使用新数据集微调 dialoGPT - 损失低于 1 且困惑度爆炸

Question

我正在关注关于微调 DialoGPT（GPT- 2) 使用新的会话数据集。

它之前训练得很好，困惑度大约是 5、6，由此产生的对话似乎很正常。在此处输入图像描述现在，我不确定我是否触及了某个地方......当我绘制训练损失时，我发现它下降到低于 1（大约 0.25）并且困惑度超过 300？