在研究了一段时间的决策树之后，我注意到有一种叫做 boosting 的小技术。我看到在正常情况下，它会提高决策树的准确性。
所以我只是想知道，为什么我们不简单地将这种提升合并到我们构建的每个决策树中呢？由于目前我们将提升作为一项单独的技术，所以我思考：使用提升比仅使用单个决策树有什么缺点吗？
感谢您在这里帮助我！
问问题
664 次
2 回答
5
Boosting 是一种可以超越任何学习算法的技术。当您构建的原始分类器的性能略高于随机时，它是最有效的。如果您的决策树已经非常好，那么提升可能不会产生太大影响，但会降低性能——如果您运行提升 100 次迭代，您将不得不训练和存储 100 个决策树。
通常人们会使用决策树桩（只有一个节点的决策树）进行提升，并获得与使用完整决策树进行提升一样好的结果。
我做了一些关于 boosting 的实验，发现它相当健壮，比单树分类器更好，但也更慢（我曾经迭代 10 次），并且不如一些简单的学习器好（公平地说，它是一个非常嘈杂的数据集）
于 2010-11-24T00:18:15.560 回答
1
boosting 有几个缺点：1-难以实现 2-它们需要比决策树更多的训练集进行广泛的训练 3-最糟糕的是所有 boosting 算法都需要一个阈值，在大多数情况下不容易计算因为它需要大量的试错测试，因为它知道提升算法的整体性能取决于这个阈值
于 2010-11-23T23:18:21.157 回答