machine-learning - 弱分类器

Question

我正在尝试实现一个使用 AdaBoost 算法的应用程序。我知道 AdaBoost 使用一组弱分类器，但我不知道这些弱分类器是什么。你能用一个例子向我解释一下，并告诉我是否必须创建自己的弱分类器或者我应该使用某种算法？

Answer 1

弱分类器（或弱学习器）是性能仅比随机分类器稍好一些的分类器。因此，这些分类器对如何预测正确的标签有一些线索，但不像强分类器那样多，例如朴素贝叶斯、神经网络或 SVM。

最简单的弱分类器之一是决策树桩，它是一个单级决策树。它为一个特征选择一个阈值并在该阈值上分割数据。然后，AdaBoost 将训练这些决策树桩的军队，每个决策树桩都专注于数据特征的一部分。

Answer 2

当我使用 AdaBoost 时，我的弱分类器基本上是每个数据属性的阈值。这些阈值需要具有超过 50% 的性能，否则它将是完全随机的。

这是关于 Adaboost 以及如何计算那些弱分类器的一个很好的介绍： https ://user.ceng.metu.edu.tr/~tcan/ceng734_f1112/Schedule/adaboost.pdf