问题标签 [learning-rate]

我想知道训练期间的实际学习率，这是我的代码。

输出为 0.001、0.0001、0.0001。那么在 optimizer.step() 期间实际的 lr 是什么？0.001 还是 0.0001？谢谢。

我正在使用自定义学习率调度程序，但在尝试这样做时遇到了错误 RuntimeError: Trying to eval in EAGER mode。

我已经制作了一个用于计算一个时期的学习率的函数，并且我使用了 TensorFlow 提供的 LearningRateScheduler() 来实现该模型。

这是我解决上述问题的代码：

模型架构：

自定义学习率函数：

使用学习率：

我剪掉了代码，因为它非常耐用，这里是学习率调度器的代码，模型使用该优化器。

这是模型保存代码。我在model.fit之后保存了它

加载模型代码在这里

这是我遇到的错误，在此屏幕截图中，我没有使用 GPU，但即使在控制台中使用 gpu 也会引发相同的错误。

我确实使用'tensorflowjs_converter'将model.h5文件转换为model.json，但它也无法加载模型。有没有办法在没有培训的情况下加载它并再次将其保存为 json 格式？

我使用了自定义学习率调度程序。代码如下（与https://www.tensorflow.org/tutorials/text/transformer#optimizer相同）。

我正在使用model.fit。想在每个纪元结束时打印 lr 。

如何获得每个更新的学习率值on_train_batch_begin？

我试过这种方式

但我明白了<tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay object at 0x7f ...>

我LambdaLR用作学习率函数：

我正在尝试设置最小学习率，因此它不会变为 0。我该怎么做？

使用时，keras.optimizers.schedules.ExponentialDecay()我希望能够在 TensorBoard 上可视化学习率。使用learning_rate = tf.train.exponential_decay它非常简单，添加tf.summary.scalar('learning_rate', learning_rate)就足够了。

使用调度程序时如何做同样的事情keras.optimizers.schedules.ExponentialDecay()？

我只是想为我的第一个 CNN 设置一个学习率计划，我发现有多种方法可以这样做：

1. 可以使用在回调中包含时间表tf.keras.callbacks.LearningRateScheduler()
2. 可以将其传递给优化器使用tf.keras.optimizers.schedules.LearningRateSchedule()

现在我想知道是否有任何差异，如果有，它们是什么？如果没有区别，那么为什么存在这些替代方案呢？是否有历史原因（以及应该首选哪种方法）？

有人可以详细说明吗？

我正在尝试在 Keras 中为 SGD 编写一个自定义学习率调度程序，它会根据迭代改变学习率。然而，LearningRateScheduler CallBack 只接受一个只接受 epoch 的函数。我的学习率函数如下所示：

学习率 = base_learning_rate x (1 + gamma x 迭代)^(-power)

我写了一个余弦退火LRScheduler：

我想知道学习率是否正确衰减，所以我写了一个指标来显示我的 lr：

输出是：

纪元 1/10 488/488 [===============================] - 51 秒 104 毫秒/步 - 损失：2.0970 - lr ：2.5051e-05 - val_loss：1.3853 - val_lr：5.0000e-05

纪元 2/10 488/488 [===============================] - 50 秒 102 毫秒/步 - 损失：1.1636 - lr ：7.5051e-05 - val_loss：1.2225 - val_lr：1.0000e-04

所以我想知道 keras model.fit() 是否验证调用优化器？我认为优化器应该只在训练阶段而不是在验证阶段被调用。