问题标签 [trainingloss]

我正在比较两个模型，并想澄清奇怪的结果。

模型 1 比模型 2 实现了更低的训练损失，但获得了更高的验证损失。

因为过拟合和欠拟合是通过比较自己的训练/验证损失来确定的，因此，我认为这不是过拟合的问题。

准确地说，我现在正在训练点云分类任务，

得到模型 1 训练损失：1.51，测试损失：1.56 / 模型 2 训练损失：1.37，测试损失：1.58。

所有其他条件都相同。

所以问题是，怎么会发生这种情况，测试损失低于训练损失？

任何人都可以帮助我们解决问题，我们将不胜感激。

我有一个模型训练，我得到了这个情节。它超过了音频（大约 70K，大约 5-10 秒）并且没有进行任何增强。我尝试了以下方法以避免过度拟合：

• 通过减少 GRU 单元的数量和隐藏维度来降低模型的复杂性。
• 在每一层中添加 dropout。
• 我尝试过使用更高的数据集。

我不确定我对训练损失和验证损失的计算是否正确。是这样的。我正在使用 drop_last=True 并且我正在使用 CTC 损失标准。

由于我是 Pytorch 的新手，这个问题可能是一个非常微不足道的问题，但我想请你帮忙解决这个问题。

我已经从一篇论文中实现了一个网络，并使用了论文中描述的所有超参数和所有层。

但是当它开始训练时，即使我将学习率衰减设置为 0.001，错误并没有下降。训练误差在 3.3~3.4 左右，测试误差在 3.5~3.6 左右，在 100 个 epoch 中......！

我可以更改超参数以改进模型，但由于论文中提供了确切的数字，我想看看我实现的训练代码中是否存在错误。

下面的代码是我用于训练的代码。

很抱歉这个基本问题，但如果这个培训代码没有错误，很高兴让我知道，如果有，请给出任何提示来解决..

我已经实现了 pointNet 代码，完整代码可在https://github.com/RaraKim/PointNet/blob/master/PointNet_pytorch.ipynb获得

谢谢！

我正在训练 LSTM 来预测时间序列。我尝试了一个编码器 - 解码器，没有任何辍学。我将我的数据分为 70% 的训练和 30% 的验证。训练集和验证集的总点数分别在 107 和 47 左右。然而，验证损失总是大于训练损失。下面是代码。

训练损失大于验证损失。训练损失 = 0.02 和验证损失约为 0.004 请附上图片。我尝试了很多事情，包括辍学和添加更多隐藏单元，但它并没有解决问题。任何意见建议表示赞赏

我是一个初学者，想构建一个基于 ICARL 的增量学习系统来进行植物识别，我使用 NORSE 包来构建我自己的 resnet 实现。自定义图像文件夹数据加载器根据给定的类号范围提供数据，我的数据集是 16 类花卉图像，每个类有 2688 个训练图像和 768 个测试图像。我尝试了几天调整学习率、批量大小和 epoch 数，但训练损失并没有太大变化......

主要编码：

使用的模型：

神经网络：

数据加载器：

我正在使用来自 Pytorch (Resnet 18,34,50) 的预训练模型来对图像进行分类。在训练过程中，训练中出现了一个奇怪的周期性，如下图所示。有人已经有类似的问题了吗？为了处理过度拟合，我在预处理中使用了数据增强。当使用 SGD 作为具有以下参数的优化器时，我们获得了这种图：

• 标准：NLLoss()
• 学习率：0.0001
• 时代：40
• 每 40 次迭代打印一次

我们还尝试将 adam 和 Adam bound 作为优化器，但观察到相同的周期性。

提前感谢您的回答！

这是代码：

我对一个简单回归问题的训练损失如下所示。我该如何解释？如何理解这些数据/参数可能有什么问题？

批量大小：512 样本数：3000（不够，我知道！）标签数：300 learningRate = 0.00001 时期数 = 3000

我正在训练变形金刚。在我的许多设置中，我获得了如下所示的验证和训练损失：

然后，我知道我应该在 epoch 1 左右停止训练。但是训练损失非常高。这是一个问题吗？训练损失的价值真的意味着什么吗？

谢谢