neural-network - 前馈神经网络中的错误检查

Question

我的网络的错误是否可能会减少，然后再次增加？只是想检查我是否以正确的方式编码。

Answer 1

是的，错误可能会暂时增加。这是因为您没有一直测试一个输入和预期的输出（而且您不应该这样做，因为这样网络将专门用于该特定的输入-输出集）。神经网络并不隐含地“知道”它正朝着正确的方向前进。您基本上是在遍历误差表面以找到误差低于某个阈值的位置。因此，在特定时期内误差肯定会增加，但总体而言，随着反向传播根据误差调整权重，您的误差率应该会降低。

例如，假设您正在尝试创建一个可以识别数字的神经网络。因此，您为“1”和预期输出提供净输入。输出不匹配，因此您调整权重。所以这意味着网络识别“1”的误差会更低。但是下一个输入可能是“4”，而“4”的误差可能更大，因此网络将再次自我调整。关键是为权重找到一种“快乐的媒介”，以便它们识别输入并在一定的误差阈值内提供适当的输出。

但是，我不确定您所说的“减少，然后增加直到最后一个时期”是什么意思。你是只训练一定数量的 epoch，还是训练到你的网络达到某个错误阈值？

Answer 2

作为对 Vivin Paliath 回答的补充，典型的培训如下所示：

请注意，如果网络以太大的学习率进行训练，它可能会破坏训练性能：

相关：反向传播应该使用什么学习率？