在下图中,您可以看到一个学习算法试图学习产生所需的输出(红线)。学习算法类似于反向误差传播神经网络。
“学习率”是一个控制训练过程中调整大小的值。如果学习率太高,那么算法学习很快,但是它的预测在训练过程中跳跃很多(绿线 - 学习率 0.001),如果它较低,那么预测跳跃更少,但是算法需要一个学习时间更长(蓝线 - 学习率为 0.0001)。
黑线是移动平均线。
如何调整学习率,使其最初收敛到接近所需的输出,但随后减慢速度以便它可以磨练正确的值?
学习率图 http://img.skitch.com/20090605-pqpkse1yr1e5r869y6eehmpsym.png