machine-learning - 使用 Adaboost 在特征向量中选择最佳特征

Question

我已经阅读了一些关于 Adaboost 如何工作的文档，但对此有一些疑问。

我还读到 Adaboost 还从数据中挑选出最好的特征，除了加权弱分类器并在测试阶段使用它们来有效地执行分类。

Adaboost 如何从数据中挑选最佳特征？

如果我对Adaboost的理解有误，请纠正我！

Answer 1

在某些情况下，Adaboost 中的弱分类器（几乎）等于特征。换句话说，使用单一特征进行分类可以产生比随机性能稍好的结果，因此可以用作弱分类器。Adaboost 将在给定训练数据的情况下找到一组最佳弱分类器，因此如果弱分类器等于特征，那么您将获得最有用特征的指示。

类似于特征的弱分类器的一个例子是决策树桩。

Answer 2

好的，adaboost 根据其基本学习器树选择特征。对于单个树，有几种方法可以估计单个特征对树的贡献，在某处称为相对重要性。对于 adaboosting，一种包含几棵这样的树的集成方法，可以通过测量每个特征对每棵树的重要性然后对其进行平均来计算每个特征对最终模型的相对重要性。

希望这可以帮到你。