machine-learning - Caffe 中的“lr_policy”是什么？

Question

我只是想了解如何使用Caffe。为此，我只是查看.prototxt了示例文件夹中的不同文件。有一个选项我不明白：

# The learning rate policy
lr_policy: "inv"

可能的值似乎是：

• "fixed"
• "inv"
• "step"
• "multistep"
• "stepearly"
• "poly"

有人可以解释这些选项吗？

Answer 1

随着优化/学习过程的进行，降低学习率 (lr) 是一种常见的做法。然而，尚不清楚学习率应该如何作为迭代次数的函数而降低。

如果您使用DIGITS作为 Caffe 的接口，您将能够直观地看到不同的选择如何影响学习率。

固定：学习率在整个学习过程中保持固定。

---

inv：学习率随着 ~1/T

---

step：学习率是分段常数，每X次迭代丢弃一次

---

多步：以任意间隔分段常数

---

您可以在函数中准确地看到学习率是如何计算的SGDSolver<Dtype>::GetLearningRate（solvers/sgd_solver.cpp行 ~30）。

---

最近，我遇到了一种有趣且非常规的学习率调整方法：Leslie N. Smith 的作品“No More Pesky Learning Rate Guessing Games”。在他的报告中，Leslie 建议在降低和提高学习率lr_policy之间交替使用。他的工作还提出了如何在 Caffe 中实施这一政策。

Answer 2

如果您查看/caffe-master/src/caffe/proto/caffe.proto文件内部（您可以在此处在线找到它），您将看到以下描述：

// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
//    - fixed: always return base_lr.
//    - step: return base_lr * gamma ^ (floor(iter / step))
//    - exp: return base_lr * gamma ^ iter
//    - inv: return base_lr * (1 + gamma * iter) ^ (- power)
//    - multistep: similar to step but it allows non uniform steps defined by
//      stepvalue
//    - poly: the effective learning rate follows a polynomial decay, to be
//      zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
//    - sigmoid: the effective learning rate follows a sigmod decay
//      return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.