machine-learning - 理解 Gradient Boosting 机器学习的基本思想

Question

我对梯度提升的理解是......

我们可以通过顺序创建大量决策树来使模型更加复杂。每个决策树都建立在彼此之上。每棵新树的目标是修复先前树最错误的错误。如果我们有 3,000 棵决策树，这意味着错误最小化了 3,000 倍。到最后，我们会减少错误。

我的理解有问题吗？

Answer 1

不，你的理解是正确的。因为梯度提升采用了后续预测器从先前预测器的错误中学习的逻辑。因此，观测值出现在后续模型中的概率不相等，误差最大的观测值出现最多。可以从决策树等一系列模型中选择预测器，因为新的预测器正在从以前的预测器所犯的错误中学习，因此需要更少的时间/迭代来接近实际预测。