1

我正在使用 Tensorflow 对象检测 API 训练 CenterNet 模型。我需要找到更好的学习率范围。我之前在 Keras 模型中使用了学习率查找器，但我找不到任何方法来使用 TFOD API 实现相同的策略。我尝试将整个训练设置为热身，但不知何故，学习率并没有像我想要的那样从低值开始。

optimizer {
    adam_optimizer {
      learning_rate {
        cosine_decay_learning_rate {
          learning_rate_base: 0.9
          total_steps: 35000
          warmup_learning_rate: 0.00000001
          warmup_steps: 20000
        }
      }
      epsilon: 1e-07
    }
    use_moving_average: false
  }
  num_steps: 20000

当我使用上述参数开始训练时，学习率从 0.005 开始。我检查了源代码，找不到任何限制。

有没有办法从这么低的值逐渐提高学习率？

4

0 回答 0