问题标签 [learning-rate]

如何将学习率调度器与以下优化器一起使用？

我编写了以下调度程序：

我不确定是否应该执行调度程序或优化程序。我应该采取哪个顺序来执行以下操作？

我想为每个参数的最低级别设置特定的学习率。即内核权重和偏差中的每个值都应该有自己的学习率。

我可以像这样指定过滤学习率：

但是当我想降低一个级别时，就像这样：

我收到一个错误：ValueError: can't optimize a non-leaf Tensor 我还尝试指定一个与过滤器形状相同的学习率，例如'lr': torch.ones_like(model.conv1.weight)，但这也没有成功。

有没有办法做到这一点torch.optim？

我想通过运行模型几个时期来使用 Pytorch 在图像分类问题中手动选择正确的学习率。我已经使用 LR 调度器来衰减学习率，并且还在优化器参数组中操纵了学习率，但我看不到损失的任何变化。

损失是否取决于学习率和批量大小。例如，如果我保持批量大小为 4 并且学习率可以说是 .002，那么损失不会收敛，但如果将批量大小更改为 32，保持学习率相同，我会得到收敛的损失曲线。这可以吗？

当我设置学习率并发现训练几个时期后准确率无法提高时

如果我想使用逐步衰减：每 5 个 epoch 将学习率降低 10 倍，我该怎么做？

我收到这个错误

“ AttributeError：‘list’对象没有属性‘set_model’”

callbacks_list当我在 model.fit_generator 中添加学习计划回调时

我该如何解决这个错误？

我正在使用 Python 3.7 和 TensorFlow 2.0，我必须使用以下学习率调度程序为 160 个 epoch 训练一个神经网络：

在 80 和 120 个 epoch 时将学习率降低 10 倍，其中初始学习率 = 0.01。

我如何编写一个函数来合并这个学习率调度程序：

这是一个正确的实现吗？

谢谢！

我正在使用带有 Keras 的 MLP，并使用 sgd 进行了优化。我想调整学习率，但它似乎对训练没有任何影响。我尝试了小学习率（.01）和非常大的学习率（高达 1e28），效果几乎不明显。使用非常大的学习率时，我的损失不应该爆炸吗？

我正在使用具有 3 个隐藏层和 sigmoid 激活函数的全连接 NN。损失是 BinaryCrossEntropy 的一种变体。目标是预测信用违约。训练集包含 500000 个示例，大约有 500000 个示例。2% 的默认值。测试集包含 200000 行

更新：-我尝试更改激活函数以避免梯度消失，但没有奏效。

• 问题不是来自损失函数（我也尝试过其他损失）。

• 实际上网络似乎运作良好，以及自定义损失。当我更改 p 的值时，它会执行预期的操作。我只是无法弄清楚为什么学习率没有影响。分类器也给出了令人满意的结果。

• 网络设法从两个类别中预测标签。当我使用较大的惩罚值（如预期的那样）时，它可以更好地预测 1 类

我正在对 200 张图像重新训练 InceptionV3 模型，并且正在使用 Adam 优化器：

我注意到损失反弹特别是验证。我认为这取决于学习率，正如我在一些答案中看到的那样迁移学习 - Val_loss 奇怪的行为，以及为什么卷积神经网络中的损失可能很低，但准确度也很低？他们没有帮助。

所以我使用了 RMSprop，但我有同样的行为。以下是性能的样子：

有什么建议为什么我会遇到这种情况以及如何解决它？

我想了解导致这种模型丢失行为的原因。训练一个有 6 个隐藏层的 CNN 网络，在第一个 epoch 之后损失从大约 1.8 飙升到 12 以上，并且在剩余的 99 个 epoch 中保持不变。

我不敢相信这与我使用的数据集有关，因为我使用不同的公开数据集进行了尝试，性能完全相同（实际上是损失/准确性的确切数字）。

我还使用具有 2 个隐藏层的某种显示网络对此进行了测试，请参见下面的性能：

有人可以指出这种行为的可能原因吗？需要调整哪些参数/配置？

编辑

模型创建

将学习率更改为lr=0.0001此处是 之后的结果100 epochs。

编辑 2

显然，SMOTE 不适合在多分类中对除多数类之外的所有类进行抽样，请参见下面的 trian/test 图：