问题标签 [sgd]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - 有没有办法为给定的小批量打印每层的计算最大梯度？
我正在使用 MNIST 数据集实现一个完全连接的分类模型。部分代码如下：
有没有办法为给定的小批量打印每一层的最大梯度？
python - 来自 SGDClassfier 的日志参数用于 python 中的逻辑回归模型
我使用 SGDClassifier 拟合 Logistic 回归模型，使用损失作为“对数损失”并设置日志级别详细 = 1。
我得到的日志如下
-- Epoch 1 标准：30075.68，NNZs：3，偏差：15.380843，T：200，平均。损失：245306398.448941 总训练时间：0.00 秒。-- Epoch 2 标准：27972.51，NNZs：3，偏差：-69.971163，T：400，平均。损失：213504329.868022 总训练时间：0.00 秒。-- 时代 3 标准：77152.19，NNZs：3，偏差：-129.169105，T：600，平均。损失：141240838.989763 总训练时间：0.00 秒。-- 时代 4 标准：45522.49，NNZs：3，偏差：-117.146703，T：800，平均。损失：171279669.044693 总训练时间：0.01 秒。
请问以上日志中的Norm、NNZ、T等参数是什么意思？
谢谢你。
neural-network - 改变损失函数导致神经网络返回 nans
我在 CIFAR10 上使用 Deep SVDD 进行一类分类。当我将 L2 范数更改为 Lp for p<1 时，我在一些时期后得到了 nans。
它适用于 loss= torch.mean((outputs - inputs) 2) 但我得到了 nan for loss= torch.mean((abs(outputs - inputs)) (0.9))
每个 epoch 的损失如下所示： INFO:root: Epoch 1/50 Time: 1.514 Loss: 84.51767029 INFO:root: Epoch 2/50 Time: 1.617 Loss: 82.70055634 INFO:root: Epoch 3/50 Time: 1.528 Loss: 80.92372467 INFO:root: Epoch 4/50 Time: 1.612 Loss: 79.23560699 INFO:root: Epoch 5/50 Time: 1.495 Loss: 77.56893951 INFO:root: Epoch 6/50 Time: 1.596 Loss: 75.95311737 INFO:root: Epoch 6/50 50 时间：1.504 损失：74.40722260 信息：根：纪元 8/50 时间：1.593 损失：72.84329010 信息：根：纪元 9/50 时间：1.639 损失：71.34644287 信息：根：纪元 10/50 时间：1.578 损失3 INFO 69。 :root: Epoch 11/50 Time: 1.553 Loss: 68.41005692 INFO:root: Epoch 12/50 Time: 1.670 Loss: 66.96582977 INFO:root: Epoch 13/50 Time: 1.607 Loss: 65.56927887 INFO:root: Epoch 14/50 Time ：1.573 损失：64。20584961 INFO:root: Epoch 15/50 Time: 1.605 Loss: 62.85230591 INFO:root: Epoch 16/50 Time: 1.483 Loss: 61.53305466 INFO:root: Epoch 17/50 Time: 1.616 Loss: 60.22836166 INFO:root: Epoch 50 时间：1.499 损失：58.94760498 INFO：根：纪元 19/50 时间：1.611 损失：57.73990845 信息：根：纪元 20/50 时间：1.507 损失：56.51732086 信息：根：纪元 21/50 时间：1.624 损失：0.55 55 :root: Epoch 22/50 Time: 1.482 Loss: 54.13251587 INFO:root: Epoch 23/50 Time: 1.606 Loss: 52.98952118 INFO:root: Epoch 24/50 Time: 1.508 Loss: 51.86713654 INFO:root: Epoch 25/50 Time ：1.587 损失：50.76639069 信息：根：26/50 时代时间：1.523 损失：49.68750381 信息：根：27/50 时代时间：1.574 损失：48.62197098 信息：根：28/50 时代时间：1.537 损失：47 根信息。 ：纪元 29/50 时间：1.560 损失：46.58890167 INFO：根：纪元 30/50 时间：1.607 损失：45.59774643 信息：根：纪元 31/50 时间：1.504 损失：44.61755203 信息：根：纪元 32/50 时间：1.59 : 43.67579239 INFO:root: Epoch 33/50 Time: 1.480 Loss: 42.76135941 INFO:root: Epoch 34/50 Time: 1.577 Loss: 41.84933487 INFO:root: Epoch 35/50 Time: 1.488 Loss: 40.966473671 INFO:root: /50 时间：1.596 损失：40.10220779 信息：根：纪元 37/50 时间：1.534 损失：39.26658310 信息：根：纪元 38/50 时间：1.615 损失：38.44916168 信息：根：纪元 39/50 时间：1.518 损失：南INFO:root: Epoch 40/50 Time: 1.574 Loss: nan INFO:root: Epoch 41/50 Time: 1.511 Loss: nan INFO:root: Epoch 42/50 Time: 1.556 Loss: nan INFO:root: Epoch 43/50时间：1.565 损失：nan INFO：root：Epoch 44/50 时间：1.561 损失：nan INFO：root：Epoch 45/50 时间：1.600 损失：nan INFO：root：Epoch 46/50 时间：1.518 损失：nan INFO：root：Epoch 47/50 时间：1.618 损失: nan INFO:root: Epoch 48/50 Time: 1.540 Loss: nan INFO:root: Epoch 49/50 Time: 1.591 Loss: nan INFO:root: Epoch 50/50 Time: 1.504 Loss: nan
对于不同的学习率和输出维度，网络在一些 epoch 后返回 nan