0

我在 CIFAR10 上使用 Deep SVDD 进行一类分类。当我将 L2 范数更改为 Lp for p<1 时,我在一些时期后得到了 nans。

它适用于 loss= torch.mean((outputs - inputs) 2) 但我得到了 nan for loss= torch.mean((abs(outputs - inputs)) (0.9))

每个 epoch 的损失如下所示: INFO:root: Epoch 1/50 Time: 1.514 Loss: 84.51767029 INFO:root: Epoch 2/50 Time: 1.617 Loss: 82.70055634 INFO:root: Epoch 3/50 Time: 1.528 Loss: 80.92372467 INFO:root: Epoch 4/50 Time: 1.612 Loss: 79.23560699 INFO:root: Epoch 5/50 Time: 1.495 Loss: 77.56893951 INFO:root: Epoch 6/50 Time: 1.596 Loss: 75.95311737 INFO:root: Epoch 6/50 50 时间:1.504 损失:74.40722260 信息:根:纪元 8/50 时间:1.593 损失:72.84329010 信息:根:纪元 9/50 时间:1.639 损失:71.34644287 信息:根:纪元 10/50 时间:1.578 损失3 INFO 69。 :root: Epoch 11/50 Time: 1.553 Loss: 68.41005692 INFO:root: Epoch 12/50 Time: 1.670 Loss: 66.96582977 INFO:root: Epoch 13/50 Time: 1.607 Loss: 65.56927887 INFO:root: Epoch 14/50 Time :1.573 损失:64。20584961 INFO:root: Epoch 15/50 Time: 1.605 Loss: 62.85230591 INFO:root: Epoch 16/50 Time: 1.483 Loss: 61.53305466 INFO:root: Epoch 17/50 Time: 1.616 Loss: 60.22836166 INFO:root: Epoch 50 时间:1.499 损失:58.94760498 INFO:根:纪元 19/50 时间:1.611 损失:57.73990845 信息:根:纪元 20/50 时间:1.507 损失:56.51732086 信息:根:纪元 21/50 时间:1.624 损失:0.55 55 :root: Epoch 22/50 Time: 1.482 Loss: 54.13251587 INFO:root: Epoch 23/50 Time: 1.606 Loss: 52.98952118 INFO:root: Epoch 24/50 Time: 1.508 Loss: 51.86713654 INFO:root: Epoch 25/50 Time :1.587 损失:50.76639069 信息:根:26/50 时代时间:1.523 损失:49.68750381 信息:根:27/50 时代时间:1.574 损失:48.62197098 信息:根:28/50 时代时间:1.537 损失:47 根信息。 :纪元 29/50 时间:1.560 损失:46.58890167 INFO:根:纪元 30/50 时间:1.607 损失:45.59774643 信息:根:纪元 31/50 时间:1.504 损失:44.61755203 信息:根:纪元 32/50 时间:1.59 : 43.67579239 INFO:root: Epoch 33/50 Time: 1.480 Loss: 42.76135941 INFO:root: Epoch 34/50 Time: 1.577 Loss: 41.84933487 INFO:root: Epoch 35/50 Time: 1.488 Loss: 40.966473671 INFO:root: /50 时间:1.596 损失:40.10220779 信息:根:纪元 37/50 时间:1.534 损失:39.26658310 信息:根:纪元 38/50 时间:1.615 损失:38.44916168 信息:根:纪元 39/50 时间:1.518 损失:南INFO:root: Epoch 40/50 Time: 1.574 Loss: nan INFO:root: Epoch 41/50 Time: 1.511 Loss: nan INFO:root: Epoch 42/50 Time: 1.556 Loss: nan INFO:root: Epoch 43/50时间:1.565 损失:nan INFO:root:Epoch 44/50 时间:1.561 损失:nan INFO:root:Epoch 45/50 时间:1.600 损失:nan INFO:root:Epoch 46/50 时间:1.518 损失:nan INFO:root:Epoch 47/50 时间:1.618 损失: nan INFO:root: Epoch 48/50 Time: 1.540 Loss: nan INFO:root: Epoch 49/50 Time: 1.591 Loss: nan INFO:root: Epoch 50/50 Time: 1.504 Loss: nan

对于不同的学习率和输出维度,网络在一些 epoch 后返回 nan

4

0 回答 0