4

我正在尝试使用 RNN 进行特定领域的分类研究，并积累了数千万条文本。由于运行整个数据集需要几天甚至几个月的时间，我只选择了一小部分进行测试，比如 100 万个文本（80% 用于训练，20% 用于验证）。我使用词向量化对整个语料库进行了预训练，并将 Dropout 应用于模型以避免过度拟合。当它在 12 小时内训练 60000 条文本时，损失已经下降到相当低的水平，准确率达到 97%。我应该继续还是不继续？对继续训练有帮助吗？

它仍在运行第一个 epoch，恐怕如果我现在停止，模型将无法覆盖整个...

4

1 回答 1

7

作为一般经验法则，您可能希望模型保持在训练阶段，直到验证开始连续几次迭代下降。在那之后，模型已经对数据进行了过度拟合。对于您的问题，由于训练模型需要很长时间，我建议您在第一个 epoch 后停止训练并测试模型并确保代码中没有实现错误。如果模型具有可接受的准确度，则重新开始训练。

于 2016-01-05T04:35:14.687 回答