0

我正在处理回归量问题。我正在调整 XGBRegressor 模型的参数，所以我使用库 GPyOpt 来获得优化的参数。这些函数返回一个包含 5 个元素的数组和最小化的 MSE，即 1813。然后我尝试在模型中输入优化后的参数，然后模型的 MSE 返回 2810。我想知道为什么会这样？

我对库 GPyOpt 非常熟悉。关于我面临的这个问题的信息不多，所以我想知道这是因为我的粗心错误还是有什么我不明白的地方？

import GPyOpt
from GPyOpt.methods import BayesianOptimization
def cv_score(parameters):
    parameters = parameters[0]
    score = cross_val_score(
                XGBRegressor(learning_rate=parameters[0],
                              gamma=int(parameters[1]),
                              max_depth=int(parameters[2]),
                              n_estimators=int(parameters[3]),
                              min_child_weight = parameters[4]), 
                x_train, y_train, scoring='neg_mean_squared_error').mean()
    score = np.array(score)
    return score

bds = [{'name': 'learning_rate', 'type': 'continuous', 'domain': (0, 1)},
        {'name': 'gamma', 'type': 'continuous', 'domain': (0, 5)},
        {'name': 'max_depth', 'type': 'discrete', 'domain': (1, 50)},
        {'name': 'n_estimators', 'type': 'discrete', 'domain': (1, 300)},
        {'name': 'min_child_weight', 'type': 'discrete', 'domain': (1, 10)}]


optimizer = BayesianOptimization(f=cv_score, domain=bds,
                                 model_type='GP',
                                 acquisition_type ='EI',
                                 acquisition_jitter = 0.05,
                                 exact_feval=True, 
                                 maximize=True)
optimizer.run_optimization(max_iter=20)

optimizer.x_opt

数组([ 0.56133897, 2.697656 , 50. , 300. , 10. ])

xgb_final_param = {'learning_rate': 0.56133897, 'gamma': 2.697656, 'max_depth': 50, 'n_estimators': 300, 'min_child_weight': 10}
xgb_final = SklearnExtra(clf = XGBRegressor(), seed = Seed, params = xgb_final_param)
xgb_final.fit(x_train, y_train)
evaluate(xgb_final, x_test, y_test) #evaluate returns MSE

我预计 MSE 大约在 1813 左右，但我得到了 2810。所以我想知道为什么

4

1 回答 1

0

gpyopt 中的离散变量不是由它们的最小值/最大值指定，而是由它们的整个值列表指定。为什么？因为您可能有不连续性，所以您的变量可能只取值(1, 3, 8)。请参阅此处的示例。

因此，在您的示例中，正确指定这些域的方法是生成所有可能值的列表：

{'name': 'max_depth', 'type': 'discrete', 'domain': list(range(1, 51))}

对于其他离散变量也是如此。请注意，对于连续代码，您的代码很好 - 它们由它们的范围指定。

于 2019-08-07T08:18:24.360 回答