chainer - 在chainer中，如何使用chainer.GradientMethod以及如何自定义定义参数更新规则

Question

我在https://docs.chainer.org/en/stable/reference/core/generated/chainer.GradientMethod.html?highlight=gradient找到了一个类，它有一个名为的函数 create_update_rule()，我需要定义一个向后的函数渐变，假设我想编写以下代码：

W[i] -= gradient[i] * learning_rate;

其中W是我的函数/层的参数，但我不知道chainer默认优化器如何更新参数？是吗+=？-=

Answer 1

每个优化器，例如SGD优化器，都是GradientMethod. 每个优化器都有自己的UpdateRule.

请参阅SGD 的更新规则，该规则计算

W[i] -= gradient[i] * learning_rate