我目前正在使用一个不超过 20 个的小型训练值数据集，并且 MSE 越来越大。输入数据向量本身由 16 个参数组成，其中许多是二进制变量。在所有训练值中，16 个参数中的大多数保持不变（但不是全部）。在所有示例中，其余输入变量彼此之间变化很大。也就是说，除了两个参数不同外，两个示例可能看起来相同，一个参数是二元变量，另一个是连续变量，其中差异可能大于单个标准偏差（对于变量的一组值）。
我的单个输出变量（截至目前）可以是连续变量，或者取决于在我的情况下减少错误的真正难度，我可以将其作为分类问题，使用 12 种不同的分类形式。
长期以来，我一直在研究与当前前馈 MLP 实现不同的神经网络，因为我已经阅读了随机神经网络、梯形神经网络和许多形式的循环神经网络。我不知道应该调查哪一个，因为我没有时间尝试每个可用的 NN。
虽然我的描述可能含糊不清，但任何人都可以建议我应该调查哪个网络以最大限度地减少我的成本函数（截至目前，MSE）？
如果我当前的设置由于预测如此小的一组高度变异的训练值的正确输出所涉及的绝对困难而必须变得难以改变，那么如果我的数据集扩展到数千个样本的数量级（在拥有一组明显更加冗余、看似同质的输入值的成本）？
任何帮助都是肯定的。