python - 用于非凸目标函数的 LBFGS

Question

我正在使用 Scipy 的LBFGS实现来最小化非凸目标函数。结果还不错。但收敛状态为“ABNORMAL_TERMINATION_IN_LNSRCH”。

这可能是因为我的目标函数是非凸的吗？或者这是否意味着我的梯度（手动分析计算并作为参数传递给 Scipy 的 LBFGS）是错误的？

Answer 1

一切都很好。通常 L-BGFS、梯度下降是凸优化方法。这意味着您的优化函数应该有一个全局最小值并且应该是平滑的。当函数为非凸函数时，它具有不同的地形，我们称之为局部最小值。因此，在这种情况下，当我们对非凸函数使用凸优化方法时，您的优化程序可以找到一个不是完美答案的局部最小值。