问题标签 [regularized]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python-3.x - Pytorch 中缺少 L1 正则化的稀疏解决方案
我正在尝试在简单神经网络的第一层（一个隐藏层）上实现 L1 正则化。我查看了 StackOverflow 上的其他一些帖子，这些帖子使用 Pytorch 应用 l1 正则化以弄清楚应该如何完成（参考：在 PyTorch 中添加 L1/L2 正则化？，在 Pytorch，如何将 L1 正则化添加到激活？）。无论我将 lambda（l1 正则化强度参数）提高多高，我都不会在第一个权重矩阵中得到真零。为什么会这样？（代码如下）
注意：数据有 10 个特征（2 个类和 800 个训练样本），只有前 2 个是相关的（根据设计），因此可以假设真零应该很容易学习。
scikit-learn - scikit learn中的多目标岭回归如何工作？
我很难理解以下内容：
Scikit-learn 为 Ridge Regression 提供了多输出版本，只需传递一个 2D 数组 [n_samples, n_targets]，但它是如何实现的呢？
http://scikit-learn.org/stable/modules/generated/sklearn.linear_model.Ridge.html
假设每个目标的每个回归都是独立的是否正确？在这些情况下，我如何调整它以对每个回归使用单独的 alpha 正则化参数？如果我使用 GridSeachCV，我将不得不交出一个可能的正则化参数矩阵，或者这将如何工作？
在此先感谢-我一直在搜索几个小时，但找不到有关此主题的任何内容。
python - 机器学习：如何规范输出并迫使它们远离 0？
我正在 Tensorflow 中训练一个深度 CNN 模型，并试图最大化 和 之间的 pearson 相关true labels性predictions。例如，对于真正的标签y_true = [1.0, 2.0, 3.0, 4.0]，我想预测类似的东西y_pred = [0.9, 1.8, 3.0, 4.1]，因为这会产生很高的皮尔逊相关性。
但是，我的预测都高度接近于 0，例如y_pred = [0.0001,0.0002, 0.0003, 0.0004]. 尽管在这种情况下，皮尔逊相关性很高，但在计算皮尔逊损失时，模型在数值上是不稳定的（例如引发了 NaN 错误）。
因此，我想知道我能做些什么来强制输出具有更大的值，使其不接近 0？也许输出上的某种正则化器可以放大它？
keras - 使用来自分配层的输入数据参数化 Keras（活动）正则化器
是否可以在 Keras 中实现一个活动正则化器，该活动正则化器使用来自分配层的输入数据进行参数化？
或者，是否可以根据该层的输入和输出来修改特定层的损失函数？
虽然似乎可以为整个网络实现损失函数，但尚不清楚是否可以实现损失函数并将其应用于特定层。这可能吗？我将如何实施呢？
machine-learning - 为什么我们可能会在没有正则化的情况下变得欠拟合？
在这个文章中作者说
...如果不应用正则化，我们也会面临拟合不足的风险...
为什么我们可能会在没有正则化的情况下变得欠拟合？正则化“使”网络更简单，以避免过度拟合而不是欠拟合。所以，如果我们没有正则化，它不会导致欠拟合。
machine-learning - 切点处的解是最优解吗？
根据我从这篇文章的理解，蓝色圆圈是水平曲线，蓝点是最小化成本函数的最优解。黄色圆圈是 L2 范数约束。
我们需要的解决方案是尽可能地最小化成本函数并且同时在圈内的解决方案。意思是，解决方案是黄色圆圈和水平曲线之间的切点。
但是，我的问题是，如果切点处的 W 值没有完全最小化成本函数，这怎么可能是解决方案？只有蓝点是最小化成本函数的点。
python - L1-L2 正则化的不同系数
我想用 L1 和 L2 正则化来正则化网络的权重。但是，我找不到独立改变正则化强度的方法。Keras文档也不提供任何信息。
那么，有没有办法在l1_l2正则化器中使用不同的优势？或者也许是实现相同结果的替代方法？
我目前的模型很简单：
我希望能够有一些类似的东西：
python - 如何在 CNN 自编码器模型中添加正则化_基于 Keras
我是 Keras 和深度学习的新生，我不太确定添加正则化的正确方法，我使用 API 模型类编写了一个 CNN 自动编码器，现在我在每个“Conv2D”Keras 函数中添加正则化器，我不确定这是否是添加正则化的正确位置，有人可以给我一些建议吗？
（我尝试运行训练，查看重建的测试图像，可以，但不是很好，我用MNIST测试，重建的MNIST数的线比原来的粗。）
在我的问题中，输入图像是受损图像，原始好的图像作为训练标签，通过将CNN的输出图像与训练标签图像进行比较，我使用“平均绝对误差”来定义损失，并且也将其用作度量。
我先定义了三个函数，一个下采样函数（下面那个），一个上采样函数，一个函数挤压矩阵的第三维得到一个二维矩阵作为输出。我的代码太长，只是为了帮助说明问题，我的部分代码如下：
在定义了三个函数后，我将模型定义如下（不详细，只是其中的一部分以帮助解释我的问题）
将所有必要的参数加载到模型中，然后定义优化器参数，并编译模型
scikit-learn - sklearn 的 MLPRegressor 中的 L1 惩罚？
有没有办法在 sklearn 的 MLPRegressor 中引入 L1 正则化？我目前只能在文档中找到 L2 参数。
python - keras 自定义活动正则化器
当我在模型中调用这个自定义正则化器时，如下所示
我收到以下错误
有人可以帮我解决这个错误吗？我检查了正则化器的实现，keras 中的活动正则化器也以相同的方式实现。但是在这里它以某种方式找不到属性“层”并引发此错误。