我对所有这些方法都很陌生，并试图得到一个简单的答案，或者也许有人可以指导我在网络上的某个地方进行高级解释。我的谷歌搜索只返回了 kaggle 示例代码。
extratree 和 randomforrest 本质上是一样的吗？xgboost 在为任何特定树选择特征时使用提升，即对特征进行采样。但是那么其他两种算法是如何选择特征的呢？
谢谢！
问问题
2277 次
1 回答
9
额外的树（ET）又名。极其随机的树与随机森林（RF）非常相似。这两种方法都是聚合一些完全生长的决策树的 bagging 方法。RF 将仅尝试拆分例如三分之一的特征，但会评估这些特征中任何可能的断点并选择最佳的。但是，ET 只会评估随机的几个断点并从中挑选出最好的断点。ET 可以将样本引导到每棵树或使用所有样本。RF 必须使用引导程序才能正常工作。
xgboost 是梯度提升的一种实现，可以与决策树（典型的较小树）一起使用。训练每棵树以纠正先前训练的树的残差。梯度提升可能更难训练，但可以实现比 RF 更低的模型偏差。对于嘈杂的数据，装袋可能是最有前途的。对于低噪声和复杂的数据结构，提升可能是最有希望的。
于 2016-02-07T00:07:27.423 回答