neural-network - PyTorch - 正确计算神经切线内核（每个数据点的雅可比）

Question

在 PyTorch 中，我有一个固定x的形状数据集(batch size, input dimension)和一个前馈网络network。如果我调用yhat = network(x)shape网络的输出(batch size, output dimension)，如何分别计算每个数据点yhat相对于的参数的梯度？network

Answer 1

您可以这样做yhat.backward()将为每个网络参数设置.grad属性，然后您可以阅读.grad为：

grads = [] 
for param in network.parameters():
     grads.append(param.grad)