2

我想为每个参数的最低级别设置特定的学习率。即内核权重和偏差中的每个值都应该有自己的学习率。

我可以像这样指定过滤学习率：

optim = torch.optim.SGD([{'params': model.conv1.weight, 'lr': 0.1},], lr=0.01)

但是当我想降低一个级别时，就像这样：

optim = torch.optim.SGD([{'params': model.conv1.weight[0, 0, 0, 0], 'lr': 0.1},], lr=0.01)

我收到一个错误：ValueError: can't optimize a non-leaf Tensor 我还尝试指定一个与过滤器形状相同的学习率，例如'lr': torch.ones_like(model.conv1.weight)，但这也没有成功。

有没有办法做到这一点torch.optim？

4

2 回答 2

2

我可能已经找到了解决方案。由于只能输入卷积层的全部权重和偏差，我们需要插入一个与权重/偏差张量具有相同形状的学习率。

这是一个使用示例torch.optim.Adam：

torch.optim.CustomAdam([{'params': param, 'lr': torch.ones_like(param, requires_grad=False) * lr} 
    for name, param in model.named_parameters()])

然后我们必须在优化器本身中更改一行。为此，我创建了一个自定义优化器：

class CustomAdam(torch.optim.Adam):
   def step(self, closure=None):
       ...
       # change the last line: p.data.addcdiv_(-step_size, exp_avg, denom) to
       p.data.add_((-step_size * (exp_avg / denom)))
于 2019-11-24T20:57:04.083 回答
1

一个简单的技巧是创建一个名为的新张量learning_rate，其大小与模型相同。然后，当您应用渐变时，您将gradients张量与learning_rate张量相乘。请让我知道这是否适合您。

于 2019-11-24T13:34:56.607 回答