首先,我对 Python 和机器学习非常陌生,所以请原谅我对可能是一个非常基本的问题的无知;我非常感谢您对这个问题的任何意见!
我有一个用 Python 实现的非常复杂的标量值多变量函数,它使用 Pytorch 功能(它实际上是神经网络和依赖于网络输出的操作的组合),我希望找到梯度向量和 Hessian 矩阵此功能在某些点。除此之外numdifftools
,当输入的维度很高时,有限差分并且不是非常快速和准确,还有其他选择吗?看起来很有希望的是torch.autograd
我相信它被用来计算神经网络的梯度,但是,它可以计算任何运行 Pytorch 代码的黑盒函数的梯度和 Hessian 吗?任何输入表示赞赏!