4

我正在尝试使用 RNN 进行特定领域的分类研究,并积累了数千万条文本。由于运行整个数据集需要几天甚至几个月的时间,我只选择了一小部分进行测试,比如 100 万个文本(80% 用于训练,20% 用于验证)。我使用词向量化对整个语料库进行了预训练,并将 Dropout 应用于模型以避免过度拟合。当它在 12 小时内训练 60000 条文本时,损失已经下降到相当低的水平,准确率达到 97%。我应该继续还是不继续?对继续训练有帮助吗?

它仍在运行第一个 epoch,恐怕如果我现在停止,模型将无法覆盖整个...

4

1 回答 1

7

作为一般经验法则,您可能希望模型保持在训练阶段,直到验证开始连续几次迭代下降。在那之后,模型已经对数据进行了过度拟合。对于您的问题,由于训练模型需要很长时间,我建议您在第一个 epoch 后停止训练并测试模型并确保代码中没有实现错误。如果模型具有可接受的准确度,则重新开始训练。

于 2016-01-05T04:35:14.687 回答