2

我有一个损失函数和一个权重矩阵列表，我正在尝试计算二阶导数。这是一个代码片段：

loss.backward(retain_graph=True)
grad_params_w=torch.autograd.grad(loss, weight_list,create_graph=True)

for i in range(layers[a]): 
       for j in range (layers[a+1]): 
          second_der=torch.autograd.grad(grad_params_w[a][i,j], my_weight_list[b], create_graph=True)

上面的代码有效（实际上二阶导数是在一个单独的函数中调用的，但为了简洁起见，我直接把它放了）。但我对何时使用创建和保留图完全感到困惑。

第一：如果我不做 loss.backward(retain_graph) 我得到错误 A：

RuntimeError：变量元组的元素 0 易失

如果我使用它，但不对一阶导数添加任何“图形”语句，则会收到错误 B：

RuntimeError：试图第二次向后遍历图形，但缓冲区已被释放。第一次向后调用时指定retain_graph=True。

如果我指定retain_graph=True，无论我是否在此处放置create graph 语句，都会得到二阶导数的错误A（即在for 循环中）。

因此，只有上面的代码片段有效，但我需要 loss.backward 和所有 create graph 语句感觉很奇怪。有人可以向我澄清这一点吗？非常感谢提前！！

4

0 回答 0