2

我遇到了一个奇怪的问题：我通过 hyperopt
定义了我的 XGB 超参数'max_depth'

hp.choice('max_depth',range(2,20))

但我得到'max_depth' = 0或1结果，这是[2,20)不受限制的。为什么？我错过了什么？谢谢。

错误结果：

{'colsample_bytree': 0.18, 'learning_rate': 0.05, 'max_depth': 1, 'reg_alpha': 3.44, 'reg_lambda': 0.92}

{'colsample_bytree': 0.41, 'learning_rate': 0.09, 'max_depth': 0, 'reg_alpha': 0.14, 'reg_lambda': 3.53}

{'colsample_bytree': 0.71, 'learning_rate': 0.17, 'max_depth': 0, 'reg_alpha': 2.21, 'reg_lambda': 2.82}

def xgb_classifier_tune(params):
    obj='binary:logistic' if class_nums==2 else 'multi:softmax'
    random.seed(time.time())
    xgb_model=xgb.XGBClassifier(
            max_depth=params['max_depth'],
            colsample_bytree=params['colsample_bytree'],
            learning_rate=params['learning_rate'],
            reg_alpha=params['reg_alpha'],
            reg_lambda=params['reg_lambda'],
            objective=obj,
            n_estimators=100000,
            random_state=random.randint(0,99999),
            n_jobs=-1)

    if params['max_depth']<2:
        return {'loss':999.999,'status': STATUS_FAIL,'info':[0,0,0,{}]}
    xgb_model.fit(tune_train_x,tune_train_y,eval_set=[(tune_valid_x,tune_valid_y)],verbose=1,early_stopping_rounds=100) #verbose: 0 (silent), 1 (warning), 2 (info), 3 (debug)
    predict_y=xgb_model.predict(tune_valid_x)
    f1,mcc,roc_auc,table=get_score(tune_valid_y[y_feature].values,predict_y)
    return 'loss':-mcc,'status': STATUS_OK

def xgb_hyper_tune():
    mdep=list(range(2,20))
    space={'max_depth':hp.choice('max_depth',mdep),
        'colsample_bytree':hp.uniform('colsample_bytree',0.1,0.9),
        'learning_rate':hp.quniform('learning_rate',0.01,0.2,0.01),
        'reg_alpha':hp.uniform('reg_alpha',0.1,6.0),
        'reg_lambda':hp.uniform('reg_lambda',0.1,6.0)}

    trials=Trials()
    best_param=fmin(xgb_classifier_tune,space,algo=tpe.suggest,max_evals=100, trials=trials)
    return best_param
4

2 回答 2

5

因为hp.choice将在您的限制中返回索引而不是项目的值。例如，0表示 的值为max_depth2。

于 2019-09-04T13:53:42.377 回答
2

我也面临同样的问题。这不是错误。

从官方文档来看hyperopt，是无法理解的。但是zilin xiang的回答和ncalik的这个非常好的解释帮助我理解了出现问题的原因。这帮助我解决了问题。

出现问题的原因

这是由于使用hp.choice()和未设置return_argmin=False在fmin(). 由于您已设置max_depth[2,20)，因此获取索引 0 或 1 意味着它使用max_depth2（用于索引 0）或 3（用于索引 1）。

解决问题

如果要获取实际参数，而不是索引，则可以使用两种方法。

  1. 使用hyperopt.space_eval()：hyperopt.space_eval(space, best_param)。
  2. 设置return_argmin=False在fmin()：best_param=fmin(xgb_classifier_tune,space,algo=tpe.suggest,max_evals=100, trials=trials, return_argmin=False)。它会返回参数的实际值，而不是索引。

要了解更多信息，您可以查看此。

于 2022-01-04T10:46:58.837 回答