问题标签 [learning-rate]

我正在使用 Tensorflow Keras 构建 RNN 模型，并且只要验证准确度没有增加，我就想降低学习率。但是，我收到一条错误消息，表明容器不存在。我试图明确初始化学习率；但是，同样的问题仍然存在。有人知道这是怎么回事吗？下面是我的模型和学习率降低功能的代码。

我正在使用 KerasTuner 进行超参数调整。我通常使用 Hyperband，但我觉得它不适用于学习率，因为该算法在初始阶段训练模型的时间非常少，然后只进一步训练更有希望的超参数组合。因此，在所有其他超参数保持不变的情况下，与较小的 Lr（例如 1e-3）相比，高 Lr（例如 1e-2）将有更多机会在 Hyperband 的早期阶段被选中，但不能保证它确实是最好的经过充分的训练。

我错了吗 ？

最好的，

我知道每层可以有一个学习率（链接）。我还发现了如何动态更改学习率（在没有调度程序的情况下在训练过程中动态更改它）（链接）。

如何创建一个每个神经元具有动态学习率的优化器？这样我就可以在训练期间改变特定神经元的学习率值

例如，如果我的网络如下：

第一层应该有 5 个学习率（5 个神经元每个都有一个，每个神经元有 3 个相关的权重），第二层有 10 个，最后一个有 1 个。

我正在使用 ktrain 包对文本进行分类。我的实验显示为：

lr_find 和 lr_plot 是 ktrain 中的函数。它们可用于突出显示最佳学习率，如图中的红点所示。

我不明白如何理解这个情节：

1. 如何将对数刻度转换为正常的线性刻度？
2. 为什么最好的刻度是红点？

任何人都可以请尽可能详细地解释吗？谢谢