matlab - NN 训练期间的梯度值意味着什么？

Question

梯度下降法的默认值为 1e-5。

这是一个非常小的泛化到测试集的值吗？我应该保持在什么范围内？

梯度是否表示训练期间目标和预测类之间的误差（即使用训练数据）？

Answer 1

如果您不使用正则化，您应该检查学习率的几个值和迭代次数的几个值。您应该在保留集（​​也称为验证集）上执行此操作。如果你正在使用正则化，你不应该这样做，而是尝试几个值作为正则化项的权重（通常是 C 或 lambda）。

至于人们尝试从 2^-10 到 2^-1 的值。如果您的特征值在合理的数值范围内（从 -1 到 1）或从（0 到 1），它通常也很有用。