问题标签 [regularized]

我试图在 R 中找到一个用于正则化逻辑回归的包，该包可以预测 0 - 1 之间的值。不过，我没有太多运气，尝试过这个lars包，现在又尝试了这个glmnet包。

下面是 glmnet 包参考手册中示例的代码，我不明白输出。

我不明白为什么输出不是全部在 0 - 1 范围内。

我在这里误解了什么吗？

任何人都可以推荐一个易于使用的正则化逻辑回归包吗？

谢谢。

一种经典的数据去噪方法是创建一个矩阵，执行 SVD，将小的奇异值设置为零，然后将分解的矩阵部分相乘以创建一个新矩阵。这是“调节”或“规范化”输入数据的一种方式。

给定原始矩阵空间中的一个向量，如何将该向量投影到新的条件空间中？

我正在尝试对图像重建问题使用总变异最小化。本质上，我试图惩罚重建图像中两个像素的强度不同。

为此，我最小化|Ax-b|+ \lambda |F(X)| where F(x)= (x_i - x_i+1)^2是一个二次函数，它惩罚两个最近像素的差异强度。

但是，我无法决定如何确定\lambda（正则化强度）的值。在文献中，我找到\lambda了使用拉格朗日乘数找到范数正则化情况的方法。但是，我无法找到/制定一种方法来找到最\lambda适合这种情况的方法。

任何人都知道如何处理它？

有谁知道是否存在优化的分析形式\lambda？

在参数估计的贝叶斯设置中，为了执行 l2 正则化，先验分布的参数形式应该是什么？

我正在使用 scikit-learn 的 LogisticRegression 对象进行正则化二进制分类。我已经阅读了文档，intercept_scaling但我不明白如何明智地选择这个值。

数据集如下所示：

• 10-20 个特征，300-500 次重复
• 高度非高斯，事实上大多数观测值为零
• 输出类不一定同样可能。在某些情况下，它们几乎是 50/50，在其他情况下，它们更像是 90/10。
• 通常C=0.001会给出良好的交叉验证结果。

该文档包含警告，即拦截本身需要进行正则化，就像其他所有功能一样，intercept_scaling可以用来解决这个问题。但是我应该如何选择这个值呢？一个简单的答案是探索和选择提供最佳性能的参数的许多可能C组合intercept_scaling。但是这个参数搜索需要相当长的时间，如果可能的话，我想避免这种情况。

理想情况下，我想使用截距来控制输出预测的分布。也就是说，我要确保分类器在训练集上预测“class 1”的概率等于“class 1”数据在训练集中的比例。我知道在某些情况下是这样，但在我的数据中并非如此。我不知道这是由于正则化还是输入数据的非高斯性质。

感谢您的任何建议！

我四处寻找一个 R 的svmpath等效于 sklearn 或 python。我是否忽略了它，或者我是否需要使用 R 来完成这项任务。

谢谢

我有一个条件很差的矩阵，它rcond()接近于零，因此，该矩阵的逆矩阵并不正确。我尝试过使用pinv()，但这并不能解决问题。这就是我取反的方式：

我查找了此问题的解决方案，并找到了用于改进矩阵的此链接（最后一个解决方案）。那里的解决方案建议使用这个：

哪里c > 0。到目前为止，采用这种技术可以使矩阵A更好地调节并且得到的解决方案看起来更好。但是，我使用不同的值进行c了调查，最终的解决方案取决于 selected 的值c。

除了手动调查 的值之外c，是否有一种自动方法可以让我找到c获得最佳解决方案的值？

我正在尝试正则化 LR，在 matlab 中使用以下公式很简单：

成本函数：

梯度：

这不是matlab代码，只是公式。

到目前为止，我已经这样做了：

成本函数给出了正确的结果，但我不知道为什么梯度（一步）不是，成本给出的 J = 0.6931 是正确的，梯度 grad = 0.3603 -0.1476 0.0320，不是，成本开始从 2 开始，因为参数 theta(1) 不必正则化，有什么帮助吗？我猜代码有问题，但 4 天后我看不到它。谢谢

应用正则化逻辑回归时：我将数据分为训练集、交叉验证集和测试集。我想应用正则化并正在选择正则化参数 lambda。为此，我尝试了不同的 lambda 值，并将我的假设的参数 theta 拟合到训练集上。然后，我选择在验证集上给我最低成本函数的 lambda 值。为此，我应该使用惩罚项还是不使用惩罚项来计算验证集的成本函数？

我使用 VL-Feat 和 LIBLINEAR 来处理 2 类分类。训练集的#(-)/#(+) 为 35.01，每个特征向量的维度为 3.6e5。我有大约 15000 个示例。

我已将正例的权重设置为 35.01，将负例的权重设置为默认值 1。但我得到的是测试数据集上的性能极差。

所以为了找出原因，我将训练示例设置为输入。我看到的是负面例子比正面例子的决策值略高。这真的很奇怪，对吧？我检查了输入以确保我没有错误地标记示例。我已经对直方图向量进行了标准化。

有没有人遇到过这种情况？

这是训练模型的参数。我对bias、regularizer和dualityGap等参数感到奇怪，因为它们太小了，很容易失去准确性。