问题标签 [learning-rate]

我知道 Keras 学习率调度程序和 tf.keras.optimizers.schedules.InverseTimeDecay，但它们只将当前时期或仅当前步骤作为参数，我希望我的学习率保持初始到第十个时期例如，然后开始应用逆时间衰减调度程序。有没有办法将时代和当前步骤都作为参数。我已经从 Tensorflow 的源代码中尝试过这个方法来轻松地增加步长和纪元计数器，然后将其作为回调传递，但它似乎并没有改变学习率：

我试图通过将学习率乘以一个常数因子来找到最佳学习率，然后他们在不同的学习率上训练模型。我需要在损失开始再次增加的转折点选择学习率。为此，我需要可视化学习率与损失图。我该怎么做呢。

改变速率的方法是

我正在使用model_main_tf2.pyTensorFlow 训练模型。我正在尝试为文件中的learning_rate_baseand选择好的值。我的方法是改变多个值，并以小步长进行训练，之后我将选择使用 tensorboard 使损失减少最多的值。但这需要时间，所以我做了一些研究，发现 Keras 有，但 Tensorflow 没有找到学习率的选项。warmup_learning_ratepipeline.configlearning_rate_basewarmup_learning_ratelr_find()

• 问题：有没有什么方法可以找到 Tensorflow 的学习率和预热学习率，而不是猜测数字？

我正在 Keras 的 MNIST 数据集上训练一个具有单个 Dense 层的简单神经网络。

这是代码：

这是学习率为 0.01 时的输出：

这是 0.03 时的输出，所有其他超参数都是固定的：

我尝试了多次，所以这不是随机的。我尝试了 RMSprop 以及相同的结果。

据我了解，损失的减少应该与学习率成正比，而不是与损失本身成正比。

这是否与 Keras 如何以某种方式计算损失函数有关？

我正在关注本教程：

https://cloud.google.com/architecture/clv-prediction-with-offline-training-train#introduction

我正在重写 Google Colab 上的一些代码。

他们使用以下方法进行学习率衰减：

…我需要重建以下模型：

我不能像这样运行模型，因为我得到了

…原因是函数 get_global_step。当我使用 ie 时，我的结果与他们的结果相比非常糟糕：

我的问题是：

• global_step 到底是什么？

• 模型变得更好是否至关重要？

• 如果我需要它：我怎样才能让它像这样工作？

我尝试使用与两个 resnet 网络（预训练）相结合的 siamese 网络来解决少数镜头问题。损失函数为对比损失，优化器为Adam，学习率为 0.001。

自实验开始以来，训练集损失和验证损失都下降了，模型在大约 450 个 epoch 时达到了最佳结果。

然而，当实验继续进行时，这两个数字都开始上升，并且达到了与实验开始时相同的程度。

• 火车损失图片
• val损失图片
• 火车ac图片
• val acc的图片

我不认为这是一个过度拟合的问题，有没有人知道发生了什么？我该如何解决这个问题？

谢谢！

我有来自 PyTorch 几何示例的以下代码片段。我想使用随着训练期间损失值的降低而降低的学习率。我尝试使用调度程序，但这对我不起作用。

下面是一个干净的代码片段。任何人都可以就此事提供宝贵的建议或帮助吗？

我认为我在使用 ProGAN 训练我的数据集时面临模式崩溃。生成器生成的假图像与第一步相比没有太大变化。在此处 输入图像描述 在此处输入图像描述此外，生成器和判别器的损失一直在下降，没有任何希望......在此处输入图像描述

我使用来自 GitHub 的网络在此处输入链接描述，它应该可以正常工作，所以我认为问题出在参数上。我尝试将 generator_learning 速率从 1e-3 调整到 1e-7，但它们都没有帮助。此屏幕截图是当前配置在此处输入图像描述有人可以给我一些关于如何调整参数的建议吗？非常感谢！！

我是神经网络的新手，我正在使用 fast.ai 使用残差神经网络训练 Cifar10 数据集。运行后learner.lr_find()，我尝试使用它来绘制它learner.recorder.plot()，但随后它引发了一个Attribute error: 'wideResNet' object has no attribute 'plot'

请问，我该如何解决这个问题？谢谢

我正在使用 Tensorflow 对象检测 API 训练 CenterNet 模型。我需要找到更好的学习率范围。我之前在 Keras 模型中使用了学习率查找器，但我找不到任何方法来使用 TFOD API 实现相同的策略。我尝试将整个训练设置为热身，但不知何故，学习率并没有像我想要的那样从低值开始。

当我使用上述参数开始训练时，学习率从 0.005 开始。我检查了源代码，找不到任何限制。

有没有办法从这么低的值逐渐提高学习率？