5

让我们考虑一个简单的张量x，然后定义另一个依赖于x并具有多个维度的张量：y = (x, 2x, x^2)。

我怎样才能拥有完整的渐变dy/dx = (1,2,x)？

例如，让我们看一下代码：

import torch
from torch.autograd import grad

x = 2 * torch.ones(1)
x.requires_grad = True
y = torch.cat((x, 2*x, x*x))
# dy_dx = ???

这是我到目前为止没有成功尝试过的：

>>> dy_dx = grad(y, x, grad_outputs=torch.ones_like(y), create_graph=True)
(tensor([7.], grad_fn=<AddBackward0>),)
>>> dy_dx = grad(y, x, grad_outputs=torch.Tensor([1,0,0]), create_graph=True)
(tensor([1.], grad_fn=<AddBackward0>),)
>>> dy_dx = grad(y, [x,x,x], grad_outputs=torch.eye(3), create_graph=True)
(tensor([7.], grad_fn=<AddBackward0>),)

每次我只得到部分渐变或累积版本......

我知道我可以使用for第二个表达式来使用循环，例如

dy_dx = torch.zeros_like(y)
coord = torch.zeros_like(y)
for i in range (y.size(0)):
    coord[i] = 1
    dy_dx[i], = grad(y, x, grad_outputs=coord, create_graph=True)
    coord[i] = 0

然而，当我处理高维张量时，这个for循环可能需要太多时间来计算。此外，必须有一种方法可以在不累积梯度的情况下执行完整的雅可比......

有没有人有解决方案？还是另一种选择？

4

1 回答 1

2

torch.autograd.grad在 PyTorch 中是聚合的。要使向量相对于输入自动微分，请使用torch.autograd.functional.jacobian.

于 2020-11-23T21:52:44.963 回答