问题标签 [regularized]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
tensorflow - 关于在张量流中为神经网络的成本函数添加正则化以进行回归
我正在尝试建立一个用于线性回归的神经网络。我想将正则化部分添加到成本函数中，但每次迭代后成本都不会改变。代码如下：
通过 epochs 运行脚本后，输出为
初始化参数并提供会话后，您可以看到成本没有变化。我想知道我是否可以得到一些帮助，以及成本函数是否正确。
python - 用于逻辑回归的 Python 正则化梯度下降
我正在尝试为 Python 3x 中的逻辑回归实现梯度下降（GD）（不是随机的）。并且有一些麻烦。
逻辑回归定义如下（1）： 逻辑回归公式
梯度的公式定义如下（2）： 逻辑回归的梯度下降
数据说明：
- X 是 (Nx2) - 对象矩阵（由正负浮点数组成）
- y 是 (Nx1)-类标签的向量（-1 或 +1）
任务： 使用 L2 正则化实现梯度下降 1)；2）没有正则化。期望的结果：权重向量。参数：正则化率C =10，正则化回归，C=0，非正则化回归；梯度步长k =0.1；最大迭代次数 = 10000；容差 = 1e-5。注意：如果当前步骤和之前步骤的权重向量之间的距离小于容差 (1e-5)，则 GD 会收敛。
这是我的实现： k - 梯度步骤； C - 正则化率。
分别：
和
这是结果（权重向量）：
但是，它应该是（自我控制的正确答案）：
！！！拜托，你能告诉我这里出了什么问题吗？我连续三天坐在这个问题上，仍然不知道。
先感谢您。
python-3.x - TensorFlow - 使用 dropout 时重现结果
我正在使用 dropout 正则化训练神经网络。我保存了初始化网络的权重和偏差，这样当我得到好的结果时我可以重复实验。
然而，dropout 的使用在网络中引入了一些随机性：由于 dropout 随机丢弃单元，每次我重新运行网络时，都会丢弃不同的单元——即使我用完全相同的权重和偏差初始化网络（如果我理解这一点正确）。
有没有办法使辍学具有确定性？
python - 激活或权重的丢失
一个相当简单的，但现在只是变得疯狂。
当应用 dropout 来规范我的神经网络时，它应该应用在哪里？
例如，让我们假设 2 个卷积层后跟 1 个全连接层。“A2”是第二个卷积层的激活。我应该将 dropout 应用于这些激活，还是应该将其应用于以下全连接层的权重？还是真的不重要？
我的直觉告诉我，正确的做法是在全连接层的权重上应用 dropout，而不是在第二个 conv 层的激活上，但我在很多地方都看到了相反的情况。
我见过两个类似的问题，但都没有一个令人满意的答案。
python - 训练准确率与测试准确率
我正在训练一个 CNN，我在训练集中得到了 85% 的准确率，在测试集中得到了 65% 的准确率。
是否可以假设，通过正确设置网络的正则化（在我的例子中是 dropout 和 L2），我的测试准确度应该非常接近我的训练准确度（同时随着正则化的增加而降低） ?
比如说，75%-74% 的准确率？
machine-learning - 如何在机器学习模型中引入“均匀”稀疏/稀疏编码？
我有一个机器学习模型（即自动编码器），它试图通过添加到目标函数的简单 l1 惩罚项来学习输入信号的稀疏表示。这确实有助于促进稀疏向量表示，因为学习向量表示中的大多数元素都是零。但是，我需要构造稀疏性，以使非零元素在向量上“散开”/分布/均匀。具体来说，对于给定的输入信号，我的模型会生成如下所示的稀疏表示：
当前稀疏代码：
[...,0,0,0,0,0,0,0,0,0,0,0,0.2,0.3,0.5,0.9,0.3,0.2,0.1,0,0,0,0,0,0,0,0,0,0,0,0,...]
你可以理解大多数元素都是零，有小簇的非零元素。相反，我希望稀疏性使得非零元素相互“排斥”，因此使所有非零元素都被至少1个或多个零和很少或没有非零元素包围在向量中是相邻的；具体来说，它应该看起来更像这样：
所需的稀疏代码：
[...,0,0,0,0,0,0.2 ,0,0,0,0,0.9 ,0,0,0,0,0.5 ,0,0,0,0,0,0,0.7 ,0,0,0,0.4 ,0,0,0.6,...]
在后一种稀疏代码中，非零元素的数量可能与前一种相似，但每个非零元素之间被一些零分开。
我可以使用直接的目标函数惩罚来诱导这种形式的稀疏性吗？
tensorflow - 如何使用 Dynamic_rnn 的正则化
我想在 tensorflow 中将 l2-regularizatin 与 Dynamic_rnn 一起使用，但目前看来这并没有得到很好的处理。While循环是错误的来源。下面是重现问题的示例代码片段
如果我的网络中有 dynamic_rnn，如何添加 l2 正则化？目前我可以继续在损失计算中获得可训练的集合并在那里添加 l2 损失，但我也有词向量作为可训练的参数，我不想对其进行正则化
python - Tensorflow 中近端 Adagrad 优化器中的正则化应用
我一直在尝试使用 Tensorflow 的 ProximalAdagradOptimizer 函数中的 l1_regularization_strength 参数在 Tensorflow 中实现 l1 正则化。（我专门使用这个优化器来获得稀疏解决方案。）我有两个关于正则化的问题。
- 优化器中使用的 l1 正则化是否适用于神经网络的前向和后向传播或仅适用于反向传播？
- 有没有办法分解优化器，使正则化只适用于网络中的特定层？
r - 如何使用 glmnet 规范拦截
我知道 glmnet 默认情况下不会规范拦截，但我还是想这样做。我正在查看这个问题并尝试执行 whuber 建议的操作（添加一个常量变量并将参数intercept转换为FALSE），但结果 glmnet 也不适合添加的常量。
tensorflow - multiRNNCell 中哪种正则化使用 L2 正则化或 dropout？
我一直在从事与用于时间序列预测的序列到序列自动编码器相关的项目。所以，我tf.contrib.rnn.MultiRNNCell在编码器和解码器中使用过。我很困惑使用哪种策略来规范我的 seq2seq 模型。我应该在损失中使用 L2 正则化还是tf.contrib.rnn.DropoutWrapper在 multiRNNCell 中使用 DropOutWrapper ()？或者我可以同时使用这两种策略...... L2 用于权重和偏差（投影层）以及 multiRNNCell 中的单元格之间的 DropOutWrapper 吗？提前致谢 ：）