machine-learning - 为什么学习率会随着迭代在 SOM 中发生变化

Question

通常学习率是我们在开始时决定的一个值，通常它不会在没有迭代的情况下改变。但是在 SOM 中，学习率是随着迭代而变化的，这背后的想法是什么？

据我了解，学习率应该随着迭代次数而降低。这是为什么？

Answer 1

原因很简单。SOM 在数学模型方面设计不当，需要降低学习率以确保收敛。换句话说，如果你不改变这个值，学习过程可能根本不会停止。这个问题被称为“主曲线”和“主流形”的更多数学模型以某种方式解决，这些模型不太流行，但引入了有效的数学方法来学习类似 SOM 的表示。