我正在以1e-4
80,90 个 epoch 的学习率进行图像分割,我觉得我的模型开始过度拟合。StackOverflow 上的这个答案表明小学习率会导致过度拟合,而大学习率会充当正则化器。另一方面,我们reducelronplateau
在模型 val loss 停止减少时使用,这将是一个很小的学习率。所以我很困惑应该将学习率提高到1e-3
还是进一步降低到1e-5
问问题
19 次
我正在以1e-4
80,90 个 epoch 的学习率进行图像分割,我觉得我的模型开始过度拟合。StackOverflow 上的这个答案表明小学习率会导致过度拟合,而大学习率会充当正则化器。另一方面,我们reducelronplateau
在模型 val loss 停止减少时使用,这将是一个很小的学习率。所以我很困惑应该将学习率提高到1e-3
还是进一步降低到1e-5