问题标签 [regularized]

我试图在 Keras 中设置一个非线性回归问题。不幸的是，结果表明过度拟合正在发生。这是代码，

没有正则化的结果显示在这里没有正则化。与验证相比，训练的平均绝对误差要小得多，并且两者都有固定的差距，这是过度拟合的标志。

像这样为每一层指定L2正则化，

这些结果显示在这里L2 正则化结果。用于测试的 MAE 接近于训练，这很好。然而，训练的 MAE 很差，只有 0.03（没有正则化，它要低得多，为 0.0028）。

我能做些什么来减少正则化的训练 MAE？

具有大量参数的 ML 模型往往会过拟合（因为它们具有很大的方差）。在我看来，word2vec就是这样一种模式。减少模型方差的方法之一是应用正则化技术，这对于其他嵌入模型（例如矩阵分解）来说是非常常见的。但是，基本版本word2vec没有任何正则化部分。是否有一个原因？

这是我的代码的一小段，描述了我想要实现的自定义正则化器。

这将返回错误AttributeError: 'Variable' object has no attribute '_keras_history'并且无法创建模型。我知道这个错误是因为输出不兼容（因为输入是 keras 输入层）。[有关更多详细信息，请参阅@fchollet's对问题#7362的评论]。

这里的主要问题是 layer1.trainable_weights[0] 和 layer2.trainable_weights[0]。这些是tf.Variable（张量流变量）而不是Keras Tensors. 我会要求他们转换为 keras 张量。我怎么做？

当使用 Tensorflows 对象检测 API 训练对象检测 DNN 时，它的 Visualization Platform Tensorboard 会绘制一个名为regularization_loss_1

这是什么？我知道什么是正则化（使网络擅长通过各种方法（如 dropout）进行泛化）但我不清楚这种显示的损失可能是什么。

谢谢！

我看到了在不同应用程序中设置的范围广泛的scale值。tf.contrib.layers.l2_regularizer是否有确定 值的一般规则scale？例如，

(1) 我们是否需要考虑权重中的元素数量并使用 对其进行归一化scale？

(2) 如果均方误差 (MSE) 是损失的一部分，那么 MSE 和 l2 损失之间的适当比率是多少？

根据此链接，keep_prob 的值必须在 (0,1] 之间： Tensorflow 手册

否则我会得到价值错误：

我将以下代码用于具有一个隐藏层的简单神经网络：

如果我在 sess.run 中对 dropout_keep_prob 使用范围 (0,1] 内的数字，则精度会急剧下降。如果我使用大于 1 的数字，例如 4，则精度会超过 0.9。一旦我在在 tf.nn.dropout() 的前面，这是作为描述的一部分编写的：

在我看来，keep_prob 必须大于 1，否则不会丢弃任何东西！

归根结底，我很困惑。我实施了错误的 dropout 的哪一部分，我的结果越来越差，keep_drop 的好数字是多少？

谢谢

我试图在 Keras 中找到成本函数。我正在运行一个带有损失函数的 LSTM，categorical_crossentropy并添加了一个正则化器。在我的正则化器之后，我如何输出成本函数的样子以供我自己分析？

我正在构建一个用于分类的 RNN（在 RNN 之后有一个 softmax 层）。规范化的选项有很多，我不确定是否只尝试所有选项，效果会一样吗？我在什么情况下规范化哪些组件？

组件是：

• 内核权重（层输入）
• 经常性权重
• 偏见
• 激活函数（层输出）

我正在尝试基于 GCV 优化 LOESS 拟合的跨度值。下面是我正在使用的代码。

我想结合黄土平滑，以便自由度随着跨度的变化而调整，并最小化自由度以使 GCVS 尽可能低。

如何将正则化参数和平滑约束结合到帽子矩阵中？

我正在尝试从头开始编写逻辑回归。在这段代码中，我认为我的成本导数是我的正则化，但我的任务是添加 L1norm 正则化。你如何在python中添加这个？是否应该在我定义了成本导数的地方添加它？感谢您在正确方向上的任何帮助。