问题标签 [regularized]

我有很多关于正则化和偏见在 caffe 中的工作方式的问题。

首先，默认情况下网络中存在偏见，对吗？或者，我需要让 caffe 添加它们？

其次，在获取损失值时，不考虑正则化。这样对吗？我的意思是损失只包含损失函数值。据我了解，它只考虑梯度计算中的正则化。这样对吗？

第三，caffe在获取梯度时，是否也考虑了正则化中的biased值？还是只考虑网络在正则化中的权重？

提前致谢，

阿夫欣

我想在我的代码中使用正则化。我使用 slim 来创建 conv2d，如下所示：

如何为此添加正则化？以及如何使用它来规范我的损失？

我有 2 个数据框：1 是具有相关日期时间的 GPS 位置序列（POSIXct）

另一个是具有相关日期时间（POSIXct）的深度序列。

对于每个深度位置，我想根据来自位置数据帧的内插轨迹何时建议它应该分配一个位置（纬度和经度），即，如果位置从 A 点转到 B 点，那么沿该线的哪个点做深度数据谎言，假设点之间的速度均匀，给定它的日期时间。

最终产品将是数据帧中的 2 个向量，它们为每个深度值分配一个纬度和一个经度。

谢谢你。

我理解正则化通常会在损失中增加 k*w^2 以惩罚较大的权重。但是在 Keras 中有两个正则化器参数 - weight_regularizer 和 activity_regularizer。有什么不同？

我有一个千层面代码。我想使用 caffe 创建相同的网络。我可以转换网络。但我需要有关千层面的超参数的帮助。千层面中的超参数如下所示：

我如何在 caffe 中执行 L2 正则化部分？我是否必须在每个卷积/内积层之后添加任何层进行正则化？我的solver.prototxt中的相关部分如下：

也张贴在http://datascience.stackexchange.com。等待答案。

I have recently watched a video explaining that for Deep Learning, if you add more data, you don't need as much regularization, which sort of makes sense.

This being said, does this statement hold for "normal" Machine Learning algorithms like Random Forest for example ? And if so, when searching for the best hyper-parameters for the algorithm, in theory you should have as input dataset ( of course that gets further divided into cross validation sets etc ) as much data as you have, and not just a sample of it. This of course means a muuch longer training time, as for every combination of hyper-params you have X cross-validation sets which need to be trained and so on.

So basically, is it fair to assume that the params found for a decently size sample of your dataset are the "best" ones to use for the entire dataset or isn't it ?

我有一个定制的正则化器，需要分析模型输出张量。基本上我不能这样放。

自定义函数需要目标标签张量的地方，不幸的是，这种张量尚未实现。

我也尝试设置此类图层的属性：

当get_config()我看到这样的层时，它已正确应用，但在训练期间似乎不起作用。或者也许这种方式不是一个明智的实施方式。

我正在尝试使用带有 LSTM 和时间分布层的 Keras 一次对两个时间序列进行建模。我正在考虑的数据是一个回归设置，有两个余弦波和一些添加的高斯噪声。然而，该模型在预测样本外有很多麻烦。这是意料之中的，还是我的层数太少了？

在输出中，蓝色圆圈下方是训练数据，绿色方块是训练数据的预测值，红色方块是测试数据，蓝色三角形是测试数据的预测值。很明显，模型在训练数据上过拟合，并没有找到数据中的底层结构。我也尝试过使用正则化，但没有任何成功。

从 scikit-learn 的文档中，默认惩罚是“l2”，而 C（正则化强度的倒数）是“1”。如果我保持这个设置的惩罚='l2'和C=1.0，这是否意味着训练算法是一个非正则化的逻辑回归？相反，当 C 不是 1.0 时，它是正则化逻辑回归分类器？

我正在使用有关自动编码器的本教程：https ://blog.keras.io/building-autoencoders-in-keras.html

所有代码都在工作，但是当我设置正则化参数时，性能非常差（结果模糊）10e-5，这是教程代码中定义的参数。事实上，我需要减少正则化以10e-8获得正确的输出。

我的问题如下：为什么结果与教程如此不同？数据一样，参数一样，没想到差别很大。

我怀疑 Keras 函数的默认行为已从 2016 年 5 月 14 日开始更改（在所有情况下都执行自动批量标准化？）。

输出

• 带10e-5正则化（模糊）；val_loss在0.296750 个 epoch 和0.2774100 个 epoch 之后。
• 正则化10e-8：在50 个 epoch 和100 个 epoch 之后。val_loss0.10800.1009
• 没有正则化：val_loss在0.101850 个 epoch 和0.0944100 个 epoch 之后。

完整代码（供参考）