7

我想了解 Bagging 分类器的 max_samples 值如何影响用于每个基本估计器的样本数量。

这是 GridSearch 输出：

GridSearchCV(cv=5, error_score='raise',
       estimator=BaggingClassifier(base_estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=None,
            max_features=None, max_leaf_nodes=None, min_samples_leaf=1,
            min_samples_split=2, min_weight_fraction_leaf=0.0,
            presort=False, random_state=1, spl... n_estimators=100, n_jobs=-1, oob_score=False,
         random_state=1, verbose=2, warm_start=False),
       fit_params={}, iid=True, n_jobs=-1,
       param_grid={'max_features': [0.6, 0.8, 1.0], 'max_samples': [0.6, 0.8, 1.0]},
       pre_dispatch='2*n_jobs', refit=True, scoring=None, verbose=2)

在这里，我找出最好的参数是什么：

print gs5.best_score_, gs5.best_params_
0.828282828283 {'max_features': 0.6, 'max_samples': 1.0}

现在我正在挑选最好的网格搜索估计器，并尝试查看特定 Bagging 分类器在其 100 个基本决策树估计器集中使用的样本数量。

val=[]
for i in np.arange(100):
    x = np.bincount(gs5.best_estimator_.estimators_samples_[i])[1]
    val.append(x)
print np.max(val)
print np.mean(val), np.std(val)

587
563.92 10.3399032877

现在，训练集的大小是 891。由于 CV 为 5，891 * 0.8 = 712.8 应该进入每个 Bagging 分类器评估，并且由于 max_samples 是 1.0，891 * 0.5 * 1.0 = 712.8 应该是每个基的样本数估算器，或接近它的东西？

那么，为什么数字在 564 +/- 10 范围内，最大值为 587，根据计算，它应该接近 712？谢谢。

4

1 回答 1

6

在做了更多的研究之后，我想我已经弄清楚发生了什么。GridSearchCV对训练数据使用交叉验证来确定最佳参数，但它返回的估计器适合整个训练集，而不是 CV 折叠之一。这是有道理的，因为更多的训练数据通常会更好。

因此，您从 GridSearchCV 返回的BaggingClassifier适合 891 个数据样本的完整数据集。确实如此，当 max_sample=1. 时，每个基本估计器将从训练集中随机抽取 891 个样本。但是，默认情况下，样本是通过替换抽取的，因此由于重复，唯一样本的数量将少于样本总数。如果你想不替换地绘制，请将 BaggingClassifier 的 bootstrap 关键字设置为 false。

现在，在没有替换的情况下绘制时，我们应该期望不同样本的数量与数据集的大小到底有多接近？

根据这个问题，当从一组 n 个样本中抽取 n 个带有替换的样本时，不同样本的预期数量为 n * (1-(n-1)/n) ^ n。当我们将 891 插入其中时，我们得到

>>> 891 * (1.- (890./891)**891)
563.4034437025824

预期样本数 (563.4) 非常接近您观察到的平均值 (563.8)，因此似乎没有发生任何异常情况。

于 2016-08-05T02:39:00.843 回答