r - xgboost out of bag predictions

Question

is it possible to get the out-of-bag (oob) predictions of each tree, and plot some kind of confidence intervals.

For example this is implemented in the quantregForest package:

data(ozone,package="gss")
library(quantregForest)
xozone <- ozone[-1]
yozone <- ozone$upo3
qrfozone <- quantregForest(xozone,yozone)
plot(qrfozone)

Answer 1

我认为这还没有在 xgboost 中实现。我认为困难在于，在 randomForest 中，每棵树的权重是相等的，而在 boosting 方法中，权重是非常不同的。此外，“打包”xgboost 模型（仍然）不是很常见，只有这样您才能生成袋外预测（有关如何在 xgboost 中执行此操作，请参见此处：http: //xgboost.readthedocs.io/en/latest/ R-package/discoverYourData.html#special-note-what-about-random-forests）。

将来这将是一个在 xgboost 中实现的好工具。此外，如果您考虑使用 oob 预测进行快速调整。