9

我正在尝试使用 scikit-learn 中的 VotingClassifier() 创建三个分类器（随机森林、支持向量机和 XGBoost）的集合。但是，我发现集成的准确性实际上是降低而不是提高。我不知道为什么。

这是代码：

from sklearn.ensemble import VotingClassifier

eclf = VotingClassifier(estimators=[('rf', rf_optimized), ('svc', svc_optimized), ('xgb', xgb_optimized)], 
                        voting='soft', weights=[1,1,2])

for clf, label in zip([rf, svc_optimized, xgb_optimized, eclf], ['Random Forest', 'Support Vector Machine', 'XGBoost', 'Ensemble']):
    scores = cross_val_score(clf, X, y, cv=10, scoring='accuracy')
    print("Accuracy: %0.3f (+/- %0.3f) [%s]" % (scores.mean(), scores.std(), label))

XGBoost 具有最高的准确度，所以我什至尝试给它更多的权重，但无济于事。

我可能做错了什么？

4

1 回答 1

9

VotingClassifiers 并不总是保证有更好的性能，特别是在使用软投票时，如果你有校准不佳的基本模型。

举一个人为的例子，假设所有模型在错误时确实是错误的（例如给出不正确类别的概率为 0.99），但在正确时仅略微正确（例如给出正确类别的概率为 0.51班级）。此外，当“xgb”错误时，说“rf”和“svc”总是正确的，反之亦然，每个分类器本身的准确度为 50%。

由于您使用的是软投票，因此您实现的投票分类器的准确度为 0%。原因如下：

  1. 案例 1：'xgb' 对。然后它给出正确类别的概率为 0.51，权重为 2，得分为 1.02。然而，对于 1.98 的分数，其他模型每个给出的错误类别的概率为 0.99。该类由您的投票分类器选择。
  2. 案例 2：'xgb' 错误。然后它给出了 0.99 的概率给不正确的类别，权重为 2，得分为 1.98。其他两个模型对正确类别的综合得分为 1.02。同样，您的分类器选择了错误的类。
于 2016-09-27T20:19:52.963 回答