1

Silva 和 Almeida 的算法通过为每个权重引入单独的自适应学习率来改进现有的反向传播算法。新学习率的值计算如下：

下一步的学习常数

我读到常量u和d设置为u > 1和d < 1。这些限制相当广泛，那么有没有设置这些值的一般指导方针，还是我必须通过实验来解决我的具体问题？

4

1 回答 1

2

我已经阅读了适合大多数问题的良好“起始”值是尝试 u = 1.2 和 d = 0.8 但我现在找不到源。

编辑： 我找到了，PDF 第 10-11 页

还要注意关于如何通过引入动量项来改进算法的评论，如果你还没有的话……

于 2011-11-13T21:01:33.910 回答