machine-learning - 神经网络，是否值得随着时间的推移改变学习率和动量

Question

在满足某些条件后改变学习率是否值得？以及如何以及为什么要这样做？例如，网络将以高学习率开始，在平方误差足够低后，学习率会下降以获得更好的精度，或者学习率应该增加以跳出局部最小值？不会造成过拟合吗？那么动量呢？

Answer 1

通常你应该从高学习率和低动量开始。然后随着时间的推移降低学习率并增加动量。这个想法是允许在学习开始时进行更多探索，并在学习结束时强制收敛。通常你应该查看训练错误来设置你的学习计划：如果它卡住了，即错误没有改变，是时候降低你的学习率了。