2

感谢您提前回答。这是我的第一篇文章，我对 python 比较陌生，所以如果我格式化了一些可怕的东西，我深表歉意。

我试图在 sklearn 中结合递归特征消除和网格搜索来确定超参数和特征数量的最佳组合。使用下面的代码时，我得到max_features must be in (0, n_features] Estimator fit failed. for any other than max_features is 1. 我的数据集中有 300 多个特征，其中许多可能不重要。

'''

    param_dist = {'estimator__n_estimators': [i for i in range(11, 121, 10)],
                  'estimator__criterion': ['gini', 'entropy']}
                  'estimator__max_features': [i for i in range(1, 10)]}



    estimator = sklearn.ensemble.RandomForestClassifier(n_jobs=-1, random_state=42, bootstrap=True, verbose=True, max_features='auto')

    selector = sklearn.feature_selection.RFECV(estimator=estimator, step=1, cv=5,
                                                scoring='accuracy')

    rf_nested = sklearn.model_selection.GridSearchCV(estimator=selector, param_grid=param_dist, cv=5,
                                                        scoring='accuracy', n_jobs=-1, refit=True, return_train_score=True)


    rf_nested.fit(X_train, y_train)

'''

4

1 回答 1

1

我不会将特征选择步骤和超参数优化步骤混为一谈。

问题是您将选择器而不是估算器传递给网格搜索 - 这可能最终会起作用，但这可能不是最好的主意，因为两者是不同的类并且具有不同的方法。

我不确定这两者的实现，但如果只有少数重要（甚至可能只有一个）重要的功能，RFECV 可能会返回少量功能，而 GridSearchCV 可能想要测试更多的功能 - 这些功能看起来是合理的因此不可用。

此外，您正在做的是交叉验证中的交叉验证，这似乎是不必要的。对于网格搜索的每次评估，您运行选择器 5 次，然后运行随机森林 5 次以选择特征数量。

最后，我认为你最好把这两个步骤分开。首先通过RFECV找到最重要的特征，然后找到max_features的最佳参数。

最终（不相关）建议：我不会对估算器的数量进行网格搜索。随机森林往往不会过拟合，所以最好的选择是在交叉验证时设置一个提前停止参数:)

于 2019-12-12T09:27:43.490 回答