machine-learning - 学习率、损失和批量大小

Question

损失是否取决于学习率和批量大小。例如，如果我保持批量大小为 4 并且学习率可以说是 .002，那么损失不会收敛，但如果将批量大小更改为 32，保持学习率相同，我会得到收敛的损失曲线。这可以吗？

Answer 1

我会说损失在很大程度上取决于您用于训练的参数。另一方面，我不会将其称为数学函数的依赖关系，而是关系。

如果您的网络无法学习，您需要调整参数（架构、学习率、批量大小等）。

很难对你的问题给出更具体的答案。哪些参数可以，取决于问题。但是，如果它收敛并且您可以验证您的解决方案，我会说您很好。