问题标签 [learning-rate]

我的目标是查看 Adam 优化器的学习率进程，我在该进程上应用了 InverseTimeDecay 计划。所以我想检查学习率是否真的降低了。

在检查了堆栈溢出的这个问题后，我在我的代码中做了类似的更改：

• 在我的回调函数中添加了这个，

• 根据发布的类似问题添加了此函数调用：

• 在 model.compile 方法中还添加了以下调用，

但是，当我开始训练模型时，出现以下错误：

TypeError: float() argument must be a string or a number, not 'InverseTimeDecay'

TypeError: 'float' object is not callable

请检查我的colab 笔记本，并请评论我应该做的任何更改。另外，请在评论中写下我可能忘记提及的任何其他信息。

[UDPATE] - 我想我的问题是 optimizer.lr 值的类型。在我的例子中是一个 InverseTimeDecay 对象。如何将该对象的类型更改为浮点数？InverseTimeDecay 浮动。

我正在使用 MNIST 数据集识别数字 3 和 7。我正在使用 fastai 库中的 cnn_learner() 函数。当我绘制学习率时，曲线在 X 轴上的某个值后开始向后移动。有人可以解释一下它是什么意思吗？

我正在尝试重新实现一篇论文，该论文建议调整学习率如下：

在变化值为0.0001的情况下，学习率降低了回归值的一个因子，耐心 epoch 10 。

我应该使用torch.optim.lr_scheduler.ReduceLROnPlateau()吗？

我不确定应该将什么值传递给每个参数。

1. 语句中的变化值是否表示参数阈值？

2. 语句中的因子是否表示参数因子？

我正在尝试使用 GridSearchCV 在 CNN 中找到最佳参数，但是当我尝试找到学习率和批量大小的最佳组合时，代码不起作用（如果我使用 epochs 而不是学习率，它会起作用）。知道为什么它不起作用吗？

我得到的错误是“ValueError: learn_rate is not a legal parameter”，但我这样做了，就像我发现的一个例子一样，它适用于时代，但不适用于学习率。

是否有可能使用 Tensorflow 实现以下场景：

在前 N 个批次中，学习率应该从 0 增加到 0.001。在达到这个批次数后，学习率应该在每个 epoch 之后从 0.001 缓慢下降到 0.00001。

如何在回调中结合这种组合？Tensorflow 提供 tf.keras.callbacks.LearningRateScheduler 和回调函数 on_train_batch_begin() 或 on_train_batch_end()。但我不会得出这些回调的常见组合。

有人可以给我一种方法来创建这种取决于批次和时期数的组合回调吗？

我正在尝试使用相同的数据集复制这篇论文。但不知何故，他们训练并获得了（80%）比我通常（65%）更好的准确率。我的数据不平衡 300:500（填充词：非填充词）。该模型倾向于在前几个时期过拟合。

该模型

我尝试过的更新：

将 RMSprop 等优化器更改为 adam 和 SGD 并没有帮助。

学习率的变化没有帮助。

模型

模型

要了解如何实现具有指数衰减的人工神经网络以及具有恒定学习率的人工神经网络，我在这里查找了它：https ://www.tensorflow.org/api_docs/python/tf/compat/v1/train/exponential_decay

我有一些疑问：

当 global_step 设置为等于值为 0 的变量时，这并不意味着我们不会有衰减，因为

因此，如果global_step= 0遵循decayed_learning_rate = learning_rate，这是对的还是我在这里犯了错误？

此外，我对 100,000 步到底指的是什么感到有些困惑。究竟是什么一步？是不是每次输入都完全通过网络并反向传播？

我正在使用 PyTorch，我想在几个时期后改变学习率。

但是，大多数文档中提供的代码是：

不起作用。

实际上 PyCharm 暗示了这一点：

“Adam”类的未解析属性引用“params_group”

结果，抛出的错误是：

AttributeError：“Adam”对象没有属性“params_group”

应该如何手动更改 PyTorch (1.6) 中的学习率？

我一直无法在张量板上绘制我的学习率，因为我正在使用 ReduceLROnPlateau，如下所示：

之后，我运行它以将自定义指标绘制到 tensorboard 日志中：

有了那个设置。如何在不编写自己的自定义 ReduceLROnPlateau 的情况下绘制我的学习率？谢谢

我使用了 tensorflow 对象检测 API。
这是我的环境。
所有图片均来自 coco API

这是我的 train_config。

我找不到优化的学习率、适当的衰减步骤和因子。
所以我做了很多训练，但结果总是相似的。
我怎样才能解决这个问题？？
我已经为这个问题花了一周的时间。
在另一篇文章中，有人建议向数据集（图像）添加噪声。
但我不知道这意味着什么。
我怎样才能做到这一点？