machine-learning - 为什么在进行 VAE 后，完全前馈网络中的平均绝对误差不会下降？

Question

我正在尝试建立一个预测模型，最初我做了变分自动编码器并将特征从 2100 减少到 64。

现在有 (5000 X 64) 样本用于训练和 (2000 X 64) 用于测试，我尝试构建一个完全前馈或 MLP 网络，但结果当我的平均绝对误差达到 161 时，它并没有下降。我尝试改变所有超参数以及隐藏层，但没有用。

谁能建议原因是什么以及我如何克服这个问题？

Answer 1

首先，训练神经网络可能有点棘手。训练后网络的性能（甚至是训练过程本身）取决于很多因素。其次，您必须更具体地了解您的问题中的数据集（而不是问题）。只看你的问题，可以说是......

• 您的数据中的值范围是多少？平均绝对误差为 161 的误差幅度非常高。似乎您的数据中有很大的值。（尝试对数据进行归一化，即减去每个特征/变量的均值并除以方差。
• 您如何初始化网络的权重？训练性能很大程度上取决于初始权重值。错误的初始化可能导致局部最小值。（尝试使用Glorot的初始化方法进行初始化）
• 你把维数从 2100 降到了 64，是不是太多了？（实际上可能没问题，但这实际上取决于您的数据）。