10

我正在使用 sklearn 的 GPR 库，但偶尔会遇到这个烦人的警告：

ConvergenceWarning: lbfgs failed to converge (status=2):
ABNORMAL_TERMINATION_IN_LNSRCH.

Increase the number of iterations (max_iter) or scale the data as shown in:
    https://scikit-learn.org/stable/modules/preprocessing.html
  _check_optimize_result("lbfgs", opt_res)

我不仅几乎找不到有关此警告的文档，而且 max_iter 根本不是 sklearn 的 GPR 模型中的参数。我尝试按照建议重新调整数据，但没有奏效，坦率地说我不明白（我是否还需要调整输出？同样，很少有文档）。

在优化过程中增加最大迭代次数是有道理的，但 sklearn 似乎没有办法做到这一点，这令人沮丧，因为他们建议这样做是为了响应这个警告。

查看 GPR源代码，这是 sklearn 调用优化器的方式，

 def _constrained_optimization(self, obj_func, initial_theta, bounds):
        if self.optimizer == "fmin_l_bfgs_b":
            opt_res = scipy.optimize.minimize(
                obj_func, initial_theta, method="L-BFGS-B", jac=True,
                bounds=bounds)
            _check_optimize_result("lbfgs", opt_res)
            theta_opt, func_min = opt_res.x, opt_res.fun
        elif callable(self.optimizer):
            theta_opt, func_min = \
                self.optimizer(obj_func, initial_theta, bounds=bounds)
        else:
            raise ValueError("Unknown optimizer %s." % self.optimizer)

        return theta_opt, func_min

哪里scipy.optimize.minimize()有默认值

scipy.optimize.minimize(fun, x0, args=(), method='L-BFGS-B', jac=None, bounds=None, 
tol=None, callback=None, options={'disp': None, 'maxcor': 10, 'ftol': 2.220446049250313e-09,
'gtol': 1e-05, 'eps': 1e-08, 'maxfun': 15000, 'maxiter': 15000, 'iprint': -1, 'maxls': 20})

根据 scipy文档。

我想完全使用 GPR 源代码中显示的优化器，但将 maxiter 更改为更高的数字。换句话说，我不想改变优化器的行为，而不是通过增加最大迭代次数所做的改变。

挑战在于其他参数，如obj_func, initial_theta, bounds在 GPR 源代码中设置，并且无法从 GPR 对象访问。

这就是我调用 GPR 的方式，请注意，除了 n_restarts_optimizer 和内核之外，这些大多是默认参数。

for kernel in kernels:
    gp = gaussian_process.GaussianProcessRegressor(
                    kernel              = kernel,
                    alpha               = 1e-10,
                    copy_X_train        = True,
                    optimizer           = "fmin_l_bfgs_b",
                    n_restarts_optimizer= 25,
                    normalize_y         = False,
                    random_state        = None)
4

2 回答 2

3

您想要扩展和/或修改现有 Python 对象的行为，这听起来像是继承的一个很好的用例。

一个解决方案可能是从 scikit-learn 实现继承，并确保使用您想要的参数调用通常的优化器。这是一个草图，但请注意，这未经测试。

from functools import partial
from sklearn.gaussian_process import GaussianProcessRegressor
import scipy.optimize

class MyGPR(GaussianProcessRegressor):
    def __init__(self, *args, max_iter=15000, **kwargs):
        super().__init__(*args, **kwargs)
        self._max_iter = max_iter

    def _constrained_optimization(self, obj_func, initial_theta, bounds):
        def new_optimizer(obj_func, initial_theta, bounds):
            return scipy.optimize.minimize(
                obj_func,
                initial_theta,
                method="L-BFGS-B",
                jac=True,
                bounds=bounds,
                max_iter=self._max_iter,
            )
        self.optimizer = new_optimizer
        return super()._constrained_optimization(obj_func, initial_theta, bounds)
于 2020-06-15T01:45:28.917 回答
1

对我有用的是以下内容。我使用继承，还重新定义了_constrained_optimization方法。

class MyGPR(GaussianProcessRegressor):
    def __init__(self, *args, max_iter=2e05, gtol=1e-06, **kwargs):
        super().__init__(*args, **kwargs)
        self._max_iter = max_iter
        self._gtol = gtol

    def _constrained_optimization(self, obj_func, initial_theta, bounds):
        if self.optimizer == "fmin_l_bfgs_b":
            opt_res = scipy.optimize.minimize(obj_func, initial_theta, method="L-BFGS-B", jac=True, bounds=bounds, options={'maxiter':self._max_iter, 'gtol': self._gtol})
            _check_optimize_result("lbfgs", opt_res)
            theta_opt, func_min = opt_res.x, opt_res.fun
        elif callable(self.optimizer):
            theta_opt, func_min = self.optimizer(obj_func, initial_theta, bounds=bounds)
        else:
            raise ValueError("Unknown optimizer %s." % self.optimizer)
        return theta_opt, func_min

为此，除了您通常的导入之外，您还应该导入以下内容

from sklearn.utils.optimize import _check_optimize_result
于 2020-11-22T18:29:39.070 回答