0

我有一个问题要问:

xgboost 算法中权重的 L1 和 L2 正则化项究竟有何不同。

据我了解,LASSO使用L1,RIDGE回归使用L2,L1可以缩小到0,L2不能。我了解使用简单线性回归时的机制,但我不知道它在基于树的模型中是如何工作的。

此外,gamma 是另一个参数,它使模型更加保守。我应该如何注意 L1/L2 和 gamma 参数之间的区别。

我在文档中发现这个问题很少:

lambda [默认=1,别名:reg_lambda]

  • 权重的 L2 正则化项。增加此值将使模型更加保守。

alpha [默认=0,别名:reg_alpha]

  • 权重的 L1 正则化项。增加此值将使模型更加保守。

gamma [默认=0,别名:min_split_loss]

  • 在树的叶节点上进行进一步分区所需的最小损失减少。gamma越大,算法就越保守。

它们的范围都是从 0 到 inf。

提前感谢您的任何回答/评论!

4

1 回答 1

1

我找到了这篇关于伽马正则化的博客文章。这是我两个月以来最喜欢的。仍在寻找答案,但缺乏信息是巨大的。

于 2021-08-18T23:10:31.423 回答