6

我正在使用神经网络进行回归。对于 NN 来说，这应该是一项简单的任务，我有 10 个功能和 1 个输出要预测。我在项目中使用 pytorch，但我的模型学得不好。损失从一个非常高的值（40000）开始，然后在前 5-10 个时期之后，损失迅速下降到 6000-7000，然后不管我做什么，它都卡在那里。我什至尝试更改为 skorch 而不是 pytorch，以便我可以使用交叉验证功能，但这也无济于事。我尝试了不同的优化器并向网络添加了层和神经元，但这并没有帮助，它停留在 6000，这是一个非常高的损失值。我在这里做回归，我有 10 个特征，我试图预测一个连续值。这应该很容易做到，这就是为什么它让我更加困惑。

这是我的网络：我在这里尝试了从制作更复杂的架构（例如添加层和单元到批量标准化、更改激活等）的所有可能性。没有任何效果

class BearingNetwork(nn.Module):
    def __init__(self, n_features=X.shape[1], n_out=1):
        super().__init__()
        self.model = nn.Sequential(

            nn.Linear(n_features, 512), 
            nn.BatchNorm1d(512),
            nn.LeakyReLU(),
            nn.Linear(512, 64),
            nn.BatchNorm1d(64),
            nn.LeakyReLU(),
            nn.Linear(64, n_out),
#             nn.LeakyReLU(),
#             nn.Linear(256, 128),
#             nn.LeakyReLU(),
#             nn.Linear(128, 64),
#             nn.LeakyReLU(),
#             nn.Linear(64, n_out)
        )

    def forward(self, x):
        out = self.model(x)
        return out

这是我的设置：使用 skorch 比 pytorch 更容易。在这里，我还监控 R2 指标，并将 RMSE 作为自定义指标来监控模型的性能。我还为 Adam 尝试了 amsgrad，但这并没有帮助。

R2 = EpochScoring(r2_score, lower_is_better=False, name='R2')
explained_var_score = EpochScoring(EVS, lower_is_better=False, name='EVS Metric')
custom_score = make_scorer(RMSE)
rmse = EpochScoring(custom_score, lower_is_better=True, name='rmse')

bearing_nn = NeuralNetRegressor(

    BearingNetwork,
    criterion=nn.MSELoss,
    optimizer=optim.Adam,
    optimizer__amsgrad=True,
    max_epochs=5000,
    batch_size=128,
    lr=0.001,
    train_split=skorch.dataset.CVSplit(10),
    callbacks=[R2, explained_var_score, rmse, Checkpoint(), EarlyStopping(patience=100)],
    device=device

)

我还将输入值标准化。

我的输入具有以下形状：

torch.Size([39006, 10])

输出的形状是：

torch.Size([39006, 1])

我使用 128 作为我的 Batch_size，但我也尝试了其他值，如 32、64、512 甚至 1024。虽然标准化输出不是必需的，但我也尝试过，当我预测值时它不起作用，损失很高. 请有人帮助我，我将不胜感激每一个有用的建议。我还将添加我的训练和验证损失以及 epoch 上的指标的屏幕截图，以可视化损失在前 5 个 epoch 中是如何减少的，​​然后它永远保持在 6000 的值，这是一个非常高的损失值。

历元的损失和指标

4

3 回答 3

3

考虑到您的训练和开发损失随着时间的推移而减少，您的模型似乎正在正确训练。关于您对训练和开发损失值的担忧，这完全取决于您的目标值的规模（您的目标值有多大？）以及用于计算训练和开发损失的指标。如果你的目标值很大并且你想要更小的训练和开发损失值，你可以标准化目标值。

从我收集到的关于您的实验和 R2 分数的信息来看，您似乎正在错误的领域寻找解决方案。对我来说，考虑到您的 R2 分数很低，您的功能似乎不够强大，这可能意味着您有数据质量问题。这也可以解释为什么您的架构调整没有提高模型的性能，因为问题不是您的模型。所以如果我是你，我会考虑我可以添加哪些有用的新功能，看看是否有帮助。在机器学习中，一般规则是模型只与训练它们的数据一样好。我希望这有帮助！

于 2019-12-03T10:26:30.377 回答
2

您应该查看的指标是 R^2，而不是损失函数的大小。损失函数的目的只是让优化器知道它是否朝着正确的方向前进——它不是一个可在数据集和学习设置之间进行比较的拟合度量。这就是 R^2 的用途。

您的 R^2 分数表明您解释了输出中总方差的大约三分之一，这对于只有 10 个特征的数据集通常是一个非常好的结果。实际上，鉴于您的数据的形状，您的隐藏层更有可能比必要的大得多，并且存在过度拟合的风险。

要真正评估此模型，您需要知道 (1) R^2 分数与 OLS 等更简单的回归方法相比如何，以及 (2) 为什么您应该确信应该捕获超过 30% 的输出方差通过输入变量。

对于#1，至少 R^2 不应该更糟。至于＃2，请考虑规范数字分类示例。我们知道以非常高的准确度（即 R^2 接近 1）识别数字所需的所有信息，因为人类可以做到。其他数据集不一定是这种情况，因为有一些重要的方差来源没有在源数据中捕获。

于 2019-12-10T03:37:49.733 回答
0

随着您的损失从 40000 减少到 6000，这意味着您的 NN 模型已经学习了普遍的关系，但不是全部。您可以通过转换预测变量然后将它们作为派生变量提供给您的模型来帮助这种学习，看看是否有帮助。您可以尝试通过首先添加最有影响力的预测变量来逐步向您的 NN 模型添加特征。在每次迭代中评估模型性能（即训练损失）。

如果第一步没有帮助，并且您对其他方法持开放态度，那么假设您的数据动态、高斯过程回归或分位数回归应该会有所帮助，因为这些方法不受线性回归技术等假设的影响。它还应该有助于探索自变量和因变量之间关系的不同方面。

于 2019-12-12T05:44:08.793 回答