我想在 Flux 中为我的优化器设置默认学习率。我在看这个例子：https ://fluxml.ai/Flux.jl/stable/training/optimisers/看起来这样做的界面是通过update!函数。这是设置学习率的方式还是他们的其他选项？
问问题
57 次
1 回答
1
如Flux.jl 文档中所述，有几个不同的接口可以设置学习率。对于优化器，您可以使用该update!()函数。在梯度下降的情况下：
Descent(η = 0.1)：经典梯度下降优化器，学习率为 η。对于每个参数 p 及其梯度 δp，运行 p -= η*δp
这意味着我们可以将一些学习率（通常在 0.1 和 0.001 之间）传递给Descent函数来设置 LR。
您可以使用许多其他函数来为特定优化器用例指定 LR，您可以在此处找到这些函数：https ://fluxml.ai/Flux.jl/stable/training/optimisers/#Optimiser-Reference
于 2021-07-03T15:17:48.330 回答