问题标签 [overfitting-underfitting]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
0 回答
14 浏览

keras - 我应该选择哪个值作为数据中高斯噪声的标准差?

我正在使用 Keras GaussianNoise 层将高斯噪声添加到我的数据中以破坏它以防止过度拟合。我分析了我的数据,所有值的平均值为 7624,标准差为 2591。我还附上了分布图。数据分布

大约,我应该选择哪个值作为我的模型的标准偏差。我目前正在尝试 500 的值,因为 1000 的 std 生成的图像对我来说看起来太吵了。

0 投票
1 回答
19 浏览

machine-learning - 为什么正则化器 L2 过拟合后的 CNN 模型?

图层

模型编译

** 结果 ** 训练:准确度 = 0.939577;损失 = 0.134506 测试:准确度 = 0.767908 ;损失 = 0.8002433

0 投票
0 回答
39 浏览

python - 如何知道我的课程是否对 CNN 有意义?

我正在使用带有 ImageNet 权重的 VGG16 预训练模型对 4 个带有 keras 的类进行迁移学习。但是我不知道这四个类之间是否真的有区别。我想知道这些类之间是否存在差异。目标是发现这些类是否有意义,或者这些图像类之间是否没有区别。

我的第一个问题是,如何提高模型的准确性?我尝试了不同的基础模型(VGG、ResNet)、不同的顶层架构、dropout、L2 正则化、加权类(因为类有点不平衡)、优化器和优化器的价值、有意义的数据增强、冻结在不同的水平,但模型充其量是过度拟合。以下是我可以使用不同超参数的 2 个学习和损失曲线示例。

由于过度拟合,这里的训练很好,验证没有任何改进

这里没有过度拟合,但模型根本没有改进。然而,损失曲线似乎不错。这可能是由于我为此添加的 L2 正则化。

如果 4 类分类任务的验证集准确率约为 30%(假设数据是平衡的或加权的),那么使用其他超参数是否有可能或极不可能将其提高到明显更好的水平?

在纠正过拟合时,训练准确度下降或验证准确度提高的可能性更大,还是两者兼而有之?

我还能尝试什么以获得更好的准确性?

我何时以及如何得出结论认为这些课程没有意义?

0 投票
0 回答
6 浏览

forecast - 如何在 fbprophet 上选择自定义季节性而不过度拟合

我正在查看此链接中的自定义先知季节性参数:https ://facebook.github.io/prophet/docs/seasonality,_holiday_effects,_and_regressors.html

他们说:“默认值通常是合适的,但是当季节性需要适应更高频率的变化时可以增加它们,并且通常不太平滑。增加傅里叶项的数量可以让季节性适应更快的变化周期,但是也可能导致过拟合:N 个傅里叶项对应于 2N 个用于循环建模的变量"

最后一部分“N 个傅立叶项对应于用于循环建模的 2N 个变量”是什么意思,我应该遵循什么方法来为此选择一个好的值?例如,使用 ARIMA,我可以使用 auto_arima 和/或自动相关来确定 p、d、q 的值。

0 投票
0 回答
22 浏览

validation - 当 epoch 数大于 1 时,测试 loss 更高是什么意思?

我正在训练一个用于无监督学习的神经网络。我有一个训练集、验证集和测试集。训练和验证损失就像图中一样。我的问题是,当我只用一个 epoch 训练模型时,无论其他超参数如何,测试损失总是比我用多个 epoch 训练模型时要好。例如,使用 100 个 epoch,测试损失为 10.05。然而,相同的参数但只有 1 个 epoch,测试损失为 5.72。此外,测试损失总是高于验证损失。我认为该模型过度拟合,但我无法理解真正发生了什么。在此处输入图像描述