我们都熟悉这个概念,在文献中有很好的记录,即套索优化(为了简单起见,这里只关注线性回归的情况)
loss = || y - x b ||^2 + c || b ||
等效于具有高斯误差的线性模型,其中参数被给定拉普拉斯先验
exp(-c || b || )
我们还知道,调整参数 c 设置的越高,参数设置为零的部分就越大。话虽如此,我有以下思考问题:
考虑从贝叶斯的角度来看,我们可以计算后验概率,例如,非零参数估计位于任何给定的区间集合中,并且套索设置为零的参数等于零。让我感到困惑的是,鉴于拉普拉斯先验是连续的(实际上是绝对连续的),那么在任何集合上怎么会有任何质量,它是 {0} 处的区间和单例的乘积?