2

我正在编写一个MLP网络,我想实现该levenberg-marquardt 算法。对于levenberg-marquardt,每次迭代后的权重更新由以下公式给出:

W(t+1) = W(t) - (H(t)+ l(t)*I)^-1 * J

// W(t) is the matrix of weight at instant t
// H(t) is the `hessian` of the cost function
// l(t) is a learning rate
// J is the gradient of the cost function.

但我找不到一个算法来计算(或有一个可接受的估计)hessian。我怎样才能做到这一点?

4

0 回答 0