9

我想在 RandomForestClassifier 中执行 GridSearchCV，但数据不平衡，所以我使用 StratifiedKFold：

from sklearn.model_selection import StratifiedKFold
from sklearn.grid_search import GridSearchCV
from sklearn.ensemble import RandomForestClassifier

param_grid = {'n_estimators':[10, 30, 100, 300], "max_depth": [3, None],
          "max_features": [1, 5, 10], "min_samples_leaf": [1, 10, 25, 50], "criterion": ["gini", "entropy"]}

rfc = RandomForestClassifier()

clf = GridSearchCV(rfc, param_grid=param_grid, cv=StratifiedKFold()).fit(X_train, y_train)

但我收到一个错误：

TypeError                                 Traceback (most recent call last)
<ipython-input-597-b08e92c33165> in <module>()
     9 rfc = RandomForestClassifier()
     10 
---> 11 clf = GridSearchCV(rfc, param_grid=param_grid, cv=StratifiedKFold()).fit(X_train, y_train)

c:\python34\lib\site-packages\sklearn\grid_search.py in fit(self, X, y)
    811 
    812         """
--> 813         return self._fit(X, y, ParameterGrid(self.param_grid))

c:\python34\lib\site-packages\sklearn\grid_search.py in _fit(self, X, y, parameter_iterable)
    559                                     self.fit_params, return_parameters=True,
    560                                     error_score=self.error_score)
--> 561                 for parameters in parameter_iterable
    562                 for train, test in cv)

c:\python34\lib\site-packages\sklearn\externals\joblib\parallel.py in __call__(self, iterable)
    756             # was dispatched. In particular this covers the edge
    757             # case of Parallel used with an exhausted iterator.
--> 758             while self.dispatch_one_batch(iterator):
    759                 self._iterating = True
    760             else:

c:\python34\lib\site-packages\sklearn\externals\joblib\parallel.py in dispatch_one_batch(self, iterator)
    601 
    602         with self._lock:
--> 603             tasks = BatchedCalls(itertools.islice(iterator, batch_size))
    604             if len(tasks) == 0:
    605                 # No more tasks available in the iterator: tell caller to stop.

c:\python34\lib\site-packages\sklearn\externals\joblib\parallel.py in __init__(self, iterator_slice)
    125 
    126     def __init__(self, iterator_slice):
--> 127         self.items = list(iterator_slice)
    128         self._size = len(self.items)

c:\python34\lib\site-packages\sklearn\grid_search.py in <genexpr>(.0)
    560                                     error_score=self.error_score)
    561                 for parameters in parameter_iterable
--> 562                 for train, test in cv)
    563 
    564         # Out is a list of triplet: score, estimator, n_test_samples

TypeError: 'StratifiedKFold' object is not iterable

当我写cv=StratifiedKFold(y_train)我有ValueError: The number of folds must be of Integral type.但是当我写`cv = 5时，它可以工作。

我不明白 StratifiedKFold 有什么问题

4

4 回答 4

10

我有完全相同的问题。对我有用的解决方案是替换：

from sklearn.grid_search import GridSearchCV

和

from sklearn.model_selection import GridSearchCV

然后它应该可以正常工作。

于 2017-06-01T15:00:41.013 回答
5

这里的问题是其他答案中提到的 API 更改，但是答案可能更明确。

cv参数文档指出：

cv : int，交叉验证生成器或可迭代的，可选的

确定交叉验证拆分策略。cv 的可能输入是：

  • 无，使用默认的 3 折交叉验证，整数，指定折数。

  • 用作交叉验证生成器的对象。

  • 可迭代的产生训练/测试拆分。

对于整数/无输入，如果 y 是二进制或多类，则使用 StratifiedKFold。如果估计器是分类器或者如果 y 既不是二元也不是多类，则使用 KFold。

因此，无论使用何种交叉验证策略，所需要的只是使用函数提供生成器split，如建议的那样：

kfolds = StratifiedKFold(5)
clf = GridSearchCV(estimator, parameters, scoring=qwk, cv=kfolds.split(xtrain,ytrain))
clf.fit(xtrain, ytrain)
于 2017-06-01T14:34:07.473 回答
2

看来cv=StratifiedKFold()).fit(X_train, y_train)应该改成cv=StratifiedKFold()).split(X_train, y_train).

于 2017-01-14T19:19:36.017 回答
0

api在最新版本中发生了变化。您曾经传递 y，而现在在创建 stratifiedKFold 对象时只传递数字。你稍后通过 y 。

于 2016-10-26T08:46:39.337 回答