我正在编写一个MLP
网络,我想实现该levenberg-marquardt
算法。对于levenberg-marquardt
,每次迭代后的权重更新由以下公式给出:
W(t+1) = W(t) - (H(t)+ l(t)*I)^-1 * J
// W(t) is the matrix of weight at instant t
// H(t) is the `hessian` of the cost function
// l(t) is a learning rate
// J is the gradient of the cost function.
但我找不到一个算法来计算(或有一个可接受的估计)hessian
。我怎样才能做到这一点?