2

我想通过运行模型几个时期来使用 Pytorch 在图像分类问题中手动选择正确的学习率。我已经使用 LR 调度器来衰减学习率，并且还在优化器参数组中操纵了学习率，但我看不到损失的任何变化。

4

2 回答 2

2

调整学习率并找到“那个”可能非常乏味且耗时。

幸运的是，你不是第一个被这个问题困扰的人，有几种方法可以更系统地调整学习率。
仅列举其中两种方法：

  1. 超梯度下降- 将学习率视为参数并“学习”它。
  2. 循环学习率——在一个区间内寻找一个“最优”的学习率。
于 2020-01-16T13:14:18.023 回答
1

请看看这个。它可能会给你一些见解。 LR Finder 法泰

于 2020-01-17T05:16:23.297 回答