machine-learning - 何时使用学习率查找器

Question

阅读论文“训练神经网络的循环学习率” https://arxiv.org/abs/1506.01186

如果模型过拟合，使用学习率查找器是否有意义？除了减少模型过度拟合之前的迭代次数之外，使用学习查找器会防止过度拟合吗？

从阅读论文中没有建议这种减少过度拟合的方法，我的解释是否正确？

Answer 1

我不认为改变学习率会减少过度拟合。为避免过度拟合，您可能需要使用 L1/L2 正则化和 drop-out 或其一些变体。