问题标签 [sgd]

基于这个等式，我必须计算我在下面所做的 wrt b 的导数

优化方程

但对于查询

我应该得到答案 = -0.931
，但我得到了一个巨大的数字。
我应该在我的功能中进行哪些更正？

我正在使用来自 Pytorch (Resnet 18,34,50) 的预训练模型来对图像进行分类。在训练过程中，训练中出现了一个奇怪的周期性，如下图所示。有人已经有类似的问题了吗？为了处理过度拟合，我在预处理中使用了数据增强。当使用 SGD 作为具有以下参数的优化器时，我们获得了这种图：

• 标准：NLLoss()
• 学习率：0.0001
• 时代：40
• 每 40 次迭代打印一次

我们还尝试将 adam 和 Adam bound 作为优化器，但观察到相同的周期性。

提前感谢您的回答！

这是代码：

我真的很困惑为什么在将数据拟合到 SGDRegressor 之前需要使用 ravel()。

这是代码：

这些是 X 和 y 的形状：

我最近正在实施如https://arxiv.org/abs/2102.07501中所述的退火流传输方法。在某一时刻，任务是通过使用 SGD 学习归一化流来最小化给定的损失函数。我研究了很多关于这个问题带来的几个主题的论文，但无法弄清楚如何将这些想法联系起来。所以，问题来了：

假设给定分布 p 的样本 (x_1,...,x_N)。我们现在想学习一个规范化流 T，它传输每个粒子，使得 (T(x_1),...,T(x_N)) 是目标分布 q 的适当样本。正如已经提到的来源中所述，这是通过最小化 T(p) 和 q 的 Kullback-Leibler-Divergence 来完成的。由此产生的损失函数（我们想要最小化的那个）被标记为 L 或 L(T)。

作者非常详细地描述了他们的算法，但此时他们只是说“使用 SGD 学习 T 以最小化 L”。

我的意图是使用 TensorFlow 和 Keras，使用 L 作为自定义损失函数，并且 - 正如作者建议的那样 - Adam 优化器，但是，就目前而言，这是我的代码：

我将不胜感激任何建议，因为我对现有代码的搜索没有成功。

非常感谢，克里斯蒂安

我试图复制这篇论文。我使用带有学习率函数的 SGDW：

lr = base_lr * (1 + gamma * iter)^(-power)

我的自定义时间表：

我的优化器：

然而，损失和平均绝对误差在 30 个 epoch 后呈爆炸式增长。这是训练过程的图表Learning Rate on epoch，Train and Validation Loss on epoch，Train and Validation MAE on Epoch。这里一定有什么问题。我尝试了不同的优化器和调度器，一切都很好。

我无法运行我的 SGD 代码，也不知道问题出在哪里。如果你能帮助我，那就太好了。这是我的代码：

我称这个函数为：

但是出现值错误：

ValueError：发现样本数量不一致的输入变量：[1151, 2]

f1尺寸问题ceo在def stochastic_gradient_descent(self). 但我不知道如何解决这个问题。你能给我一些提示吗？

我试图替换这个

和

但这仍然不起作用

这是我的代码

这是错误：

我查阅了 PyTorch 的 Adam 源代码，并意识到核心部分是以下代码：

现在，我想看看F.adam()是如何实现的，但我不太清楚在哪里可以找到F. 一开始，它说：from . import _functional as F，我也不太清楚这是指什么。

帮助将不胜感激。

我尝试运行此代码：

我得到这个错误：

之前在尝试用python学习keras的时候没有遇到这个问题，但是后来又遇到了其他的错误。在我更新了所有插件并重新安装了anaconda3之后，我遇到了这个问题。

我参考查到的信息改了代码内容，之后没有报错。

但是后来我遇到了以下错误：

以上2个问题是否与连通性有关？的错误在哪里from keras.optimizers import SGD？ model.compile(loss='mse', optimizer=SGD(lr=0.1),metrics=['accuracy'])我应该如何修改它？

请知道的前辈帮忙指出问题和解决方法，谢谢。

我已经尝试根据该算法编写优化器： 算法 文章，我从中获取了算法（第 5 页）：https ://arxiv.org/pdf/2106.02720.pdf

但我的解决方案不是优化任何东西。当我试图修复它时，我发现 d_p 仅由零组成，但我不明白为什么（

帮助我，我是优化新手，我可能在代码中犯了很多错误（