optimization - lnsrch 优化问题 - R, BFGS

Question

我正在尝试使用 optim 拟合 BFGS（和 L-BFGS-B）的非线性最小二乘问题。当我提供分析梯度时，线搜索异常终止，最终解决方案总是非常接近起点。但是，当我不提供渐变时，它似乎收敛得很好。这是否向任何人暗示了任何数字问题？我很确定渐变是正确的。这可能是一个缩放问题吗？谢谢你的帮助。

Answer 1

你很确定渐变是正确的。你证明了吗？您是否通过有限差分计算了梯度，并查看它们是否与解析梯度大致相同？这是第一个看的地方，我想。我不得不做同样的事情。

PS你考虑过Metropolis-Hastings吗？它缓慢但稳健，不需要渐变或 Hessian。