我在 LibriSpeech 数据集上使用 NeMo Conformer-CTC small（干净的子集，大约 29K 输入，90% 用于训练，10% 用于测试）。我使用 Pytorch 闪电。
当我尝试训练时，该模型在 50 个 epoch 中学习了 1 或 2 个句子，然后卡在了 60 个左右的损失中（我也训练了 200 个 epoch 并且它没有让步）。但是，当我尝试使用工具包中的预训练模型对其进行微调时，它会在 Validation Sanity Check 上正确预测，然后当它开始训练时，它会重复预测相同的词或几个词，并且损失不断增加，直到达到 3e +07 变成 nan。
更改学习率并使用另一个数据集（VCTK）后，我得到了相同的结果。我尝试对另一个模型（quartznet）做同样的事情，它工作得很好。
有人知道会发生什么吗？
谢谢！