问题标签 [sgd]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
221 浏览

recurrent-neural-network - 输入形状的预期轴 -1 的值为 20,但接收到的输入形状为(无,29)

ValueError: 层序 66 的输入 0 与层不兼容:输入形状的预期轴 -1 具有值 20 但接收到形状为 (None, 29)
的输入 tensorflow as tf from tensorflow import keras from tensorflow.keras 从 keras 导入层.models import Sequential from keras.layers import Dense, Dropout, Activation from keras.optimizers import SGD

请为我解释!谢谢。

0 投票
0 回答
27 浏览

python - SGD sklearn导数不为零?

我想在 Python3 中使用 sklearn 确认 SGDRegression 拟合对于最小值x处的导数确实为零。

我没有像我预期的那样得到 0,所以要么导数计算错误,要么我错过了如何获得最小化 x 值。任何帮助表示赞赏,谢谢。

0 投票
2 回答
322 浏览

optimization - 使用 Pytorch 的线性自动编码器

我们如何构建一个简单的线性自动编码器并使用 torch.optim 优化器对其进行训练?

如何使用 autograd (.backward()) 并优化 MSE 损失,然后学习编码器和解码器中的权重和偏差值(即编码器中的 3 个参数和解码器中的 4 个参数) ? 并且数据必须是随机的,对于每次学习,从随机权重和偏差开始,例如:

目标优化器是 SGD,学习率 0.01,没有动量,1000 步(从随机开始),那么我们如何绘制损失与 epoch(步数)的关系?

我试过这个,但每个时代的损失都是一样的。

0 投票
1 回答
40 浏览

python - x**2 函数的随机梯度体面与梯度体面

我想在最简单的函数示例中了解 SGD 和 GD 之间的区别:y=x**2

GD的功能在这里:

为了找到 x**2 函数的最小值,我们接下来应该做(答案几乎是 0,这是正确的):

我的理解是,在经典 GD 中,梯度是从所有数据点精确计算出来的。我上面展示的实现中的“所有数据点”是什么?

更进一步,我们应该如何对这个函数进行现代化改造,以便将其称为 SGD(SGD 使用单个数据点来计算梯度。gradient_descent函数中的“单个点”在哪里?)

0 投票
0 回答
31 浏览

ssl - 安全全球桌面 (SGD) 认证?

我在本地计算机上更新 SGD 证书时遇到问题。

我使用的是自签名证书,尽管 .pem 文件中的新证书有效期至 2024 年,但我无法获得证书来更改有效的 from 字段(于 2022 年结束)。

证书信息

我想在这里为 SGD 放置一个新证书。

我已经尝试了 tarantella/sgd 网站上的所有内容,但仍然没有任何变化。

0 投票
2 回答
32 浏览

python - 运行用于构建 CNN 的 SGD 优化器时出错

我在运行用于构建 CNN 的 SGD 优化器时出现以下错误

--> 146 optimizer = SGD(0.01, 0.8, 0.0005, nesterov=True) 147 model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy']) 148 #训练模型

TypeError:init()为参数“nesterov”获得了多个值

0 投票
0 回答
26 浏览

model - 使用 pytorch 模型执行 SGD 的循环中的错误

在用于执行随机梯度下降的函数中,我在所有批次和批次中的所有输入-输出对上都有这个循环:

我正在使用以下 pytorch 模型:

当我运行函数内部的循环时,错误是:

谢谢您的回答

0 投票
1 回答
26 浏览

keras - 从 Fashion-MNIST 的随机调用中获取“TypeError:'numpy.ndarray'对象不可调用”

我一直在尝试使用 SGD 在 CNN 上实现 Mini-Batch 优化。但是在尝试使用 shuffle() 进行随机样本选择时,我在标题中遇到了错误。代码如下。是否存在标头问题或数据类型不匹配可能导致此类错误?我在这个网站上尝试了多种解决方案,但它们似乎不起作用。或者我忽略了一些东西

0 投票
1 回答
38 浏览

neural-network - 如何使用 SGD-Optimizer 更新参数?

所以我找到了一个描述 SGD-Descent 的公式

θ = θ-η*∇L(θ;x,y)

其中 θ 是一个参数,η 是学习率,∇L() 是损失函数的梯度下降。但我不明白的是如何在数学上更新参数 θ(应该是权重和偏差)?参数 θ 有数学解释吗?

感谢您的任何回答。

0 投票
1 回答
134 浏览

python - 在我的 AI 聊天机器人中遇到 SGD/Keras 问题

大家好。第一次在这里发帖。


所以我正在尝试在 Pycharm IDLE 中使用 Python 制作一个 AI 聊天机器人。在尝试开始训练能够使聊天机器人工作的神经网络时,我遇到了这个错误并且无法找到任何可以用来帮助我解决这个问题的资源:

回溯(最后一次调用):
文件“C:\Users\Owner\PycharmProjects\ai\main.py”,第 71 行,在 model.compile(loss='categorical_crossentropy', optimiser=sgd, metrics=['accuracy' ])

文件“C:\Users\Owner\AppData\Roaming\Python\Python39\site-packages\keras\utils\traceback_utils.py”,第 67 行,error_handler 从无

文件“C: \Users\Owner\AppData\Roaming\Python\Python39\site-packages\keras\engine\training.py",第 2983 行,在 _validate_compile 中引发 TypeError('compile()` 中的无效关键字参数:'

TypeError : `compile()` 中的关键字参数无效:({'optimiser'},)。有效的关键字参数包括“克隆”、“experimental_run_tf_function”、“ 分发”、“target_tensors”或“sample_weight_mode”。

原始代码

即发生错误的代码

我还必须像这样导入 SGD,否则找不到它:

如果有人知道如何解决这个问题,请告诉我!