python - 改变 pytorch 中的优化器动力

Question

我知道您可以使用调度程序在 pytorch 中动态更改学习率。你怎么能用动量做同样的事情？

Answer 1

来自PyTorch 中 Multiplicative LR 的文档。基本上，您将调度程序包装在优化器周围，就像将优化器包装在模型参数周围一样。

lmbda = lambda epoch: 0.95
scheduler = MultiplicativeLR(optimizer, lr_lambda=lmbda)
for epoch in range(100):
    train(...)
    validate(...)
    scheduler.step()