r - R gbm 函数中的权重参数

Question

weightsR gbm函数中的参数是什么？它是否实现了成本敏感的随机梯度提升？

Answer 1

你可能已经读过这个，但是文档说weights参数是这样定义的：

在拟合过程中使用的可选权重向量。必须为正，但不需要归一化。如果在 gbm 的初始调用中 keep.data=FALSE，则用户有责任将权重重新提供给 gbm.more。

因此，我的解释是它们是任何统计模型中的标准观察权重。

它对成本敏感吗？好问题。我首先注意到该软件包的主要引用之一是：

B.克里格勒 (2007)。定量回归框架内的成本敏感随机梯度提升。

所以我认为它确实暗示了成本敏感性，但在小插图中没有明确使用该术语，所以如果它不明显的话。

不过，我做了一些更深入的研究，并找到了更多资源。您可以在描述包的本文末尾找到描述权重的方程。

我还发现早在 2009 年的邮件列表中就有人问过这个问题，虽然没有回应，但我终于找到了一篇学术文章，讨论了使用gbm和其他 R 包进行成本敏感的梯度提升。

结论是gbm的分位数损失函数是可微分的，可用于对成本敏感的应用，其中高估/低估具有不同的误差成本，但是在某些应用中可能需要/适当的其他定量损失函数（分位数除外）成本敏感的梯度提升。

那篇论文的中心是，gbm但也讨论了其他包，如果你的重点是对成本敏感的梯度提升，那么你可能还想看看他们在论文中提到的其他包。