12

我目前正在通过研究 MNIST 示例等示例来学习卷积神经网络。在神经网络的训练过程中，我经常看到如下输出： 

 Epoch  |  Train loss  |  Valid loss  |  Train / Val
--------|--------------|--------------|---------------
    50  |    0.004756  |    0.007043  |     0.675330
   100  |    0.004440  |    0.005321  |     0.834432
   250  |    0.003974  |    0.003928  |     1.011598
   500  |    0.002574  |    0.002347  |     1.096366
  1000  |    0.001861  |    0.001613  |     1.153796
  1500  |    0.001558  |    0.001372  |     1.135849
  2000  |    0.001409  |    0.001230  |     1.144821
  2500  |    0.001295  |    0.001146  |     1.130188
  3000  |    0.001195  |    0.001087  |     1.099271

除了时代，有人可以解释一下每列到底代表什么以及这些值的含义吗？我看到很多关于基本 cnn 的教程，但我还没有遇到一个详细解释这一点的教程。

4

1 回答 1

26

除了用于训练网络的数据外，似乎还使用了一组保留的数据。训练损失是训练数据集上的误差。验证损失是通过经过训练的网络运行验证数据集后的错误。训练/有效是两者之间的比率。

出乎意料的是，随着时代的增加，验证和训练错误都下降了。然而，在某个时刻，虽然训练误差继续下降（网络对数据的学习越来越好），但验证误差开始上升——这是overfitting！

于 2016-05-01T04:56:21.410 回答