python - catboost 是实现 xgboost（极端梯度提升）还是简单的梯度提升？

Question

在他们的网站上，他们说“梯度提升”，但似乎这里的人们将其与其他“xgboost”算法进行了比较。我想知道它是否是一个真正的极端梯度提升算法。谢谢

Answer 1

梯度提升是一种元算法。没有简单的梯度提升。每个 boosting 库都使用自己独特的算法来搜索回归树，因此我们得到不同的结果。

极端梯度提升只是 xgboost 对决策树的标准梯度提升的实现，具有一些启发式/正则化以提高模型质量和学习回归树的特殊方案

CatBoost 是标准梯度提升的另一种实现，具有另一组正则化/启发式。

所以这是不同的算法。