5

我正在使用scipy.optimize.minimize来找到对所使用的初始猜测相当敏感的 4D 函数的最小值。如果我稍微改变它，解决方案将发生很大变化。

SO中已经有许多与此类似的问题（例如：1、2、3），但没有真正的答案。

在我的一个老问题中，zunzun.com 网站（显然不再在线）的一位开发人员解释了他们是如何做到这一点的：

Zunzun.com 使用差分进化遗传算法 (DE) 来查找初始参数估计，然后将其传递给 scipy 中的 Levenberg-Marquardt 求解器。DE 本身实际上并没有用作全局优化器，而是用作“初始参数猜测器”。

我发现最接近这个算法的是这个答案，其中一个for块用于多次调用最小化函数，并带有随机初始猜测。这会生成多个最小化的解决方案，最后选择最好的（最小值）一个。

有没有类似于 zunzun dev 描述的已经在 Python 中实现的东西？

4

1 回答 1

5

对于这样的问题没有一般的答案，因为最小化任意函数的问题是不可能解决的。您可以在特定类别的函数上做得更好或更差，因此它是数学家的一个领域，可以分析您的函数可能看起来如何。

显然，您还可以使用数十个所谓的“元优化器”，它们只是一堆启发式方法，可能（或不）适用于您的特定应用程序。这些包括循环中的随机抽样起点，使用遗传算法，或者 - 据我所知，这是数学上最合理的方法 - 使用贝叶斯优化。一般来说，这个想法是在您尝试最小化它的同时对您的函数进行建模，这样您就可以做出明智的猜测下一次从哪里开始（这是比随机猜测或使用遗传算法/差分进化更高的抽象级别） . 因此，我将按以下方式订购这些方法

  • 网格搜索/随机抽样 - 不使用以前运行的信息，因此 - 最差的结果
  • 遗传方法，进化，盆环，退火 - 在有限的时间段（世代）内将先前运行的信息用作（x，f（x））对 - 因此平均结果
  • 贝叶斯优化（和类似方法） -通过对基础函数进行建模并根据预期改进执行抽样选择，使用所有先前经验中的信息 - 最佳结果（以最复杂的方法为代价）
于 2016-02-09T20:29:40.030 回答