0

虽然我已经单独研究了这些概念，但我对是否可以选择其中一个或另一个作为解决方案感到困惑，还是可以同时使用这两个来改善结果？您可以提供的任何指导将不胜感激。

4

1 回答 1

0

我的理解是梯度下降的成本函数是基于整个训练集的，而随机梯度下降使用比整个训练集少得多的方法来逼近真实梯度的成本。

使用哪个以及何时使用的问题取决于确定是否有足够的计算能力来计算梯度的确切成本。如果有足够的计算能力和时间，那就精确计算。

如果训练集太大，随机梯度下降值得一试。两者都用于测试近似值的质量。

一般来说，我不会同时使用两者，原因与我永远不会平均一个精确值和它的近似值相同。（例如：1=1 但 1 也大约为 0.99，因此 (1+0.99)/2 = 0.995）

于 2019-08-25T17:59:32.907 回答