我正在尝试在 CIFAR 100 数据集上使用带密集网络的铰链损失。学习收敛到某个点，然后就没有学习了。准确率远低于具有 CrossEntropy 损失函数的 Densenet。我尝试了不同的学习率和权重衰减。

关于为什么我无法正确训练带有铰链损失的 Densenet 的任何想法？我可以毫无问题地使用 Resnet 的铰链损失。

我正在尝试使用以下深度学习 CNN 架构：DenseNet169 & EfficientNet with transfer learning。我已经安装了以下库 bu PyCharm 并调用了以下导入库：

我称之为以下架构：

下载预训练模型和权重

但我总是收到以下错误消息：

对于 DenseNet169：mask = node.output_masks[tensor_index] AttributeError: 'Node' object has no attribute 'output_masks'

对于来自 keras.applications 的 EfficientNetB5 导入 EfficientNetB5 文件“C:\Users\QTR7701\AppData\Local\Programs\Python\Python37\lib\site-packages\efficientnet\initializers.py”，第 44 行，调用 return tf.random_normal( AttributeError：模块“tensorflow”没有属性“random_normal”

如果有人可以帮助我。

我正在尝试在不打开 Internet 的情况下在 Kaggle 内核中加载一个 densenet121 模型。我已经完成了所需的步骤，例如将预训练的权重添加到我的输入目录并将其移动到“.cache/torch/checkpoints/”。它仍然无法正常工作并引发 gaierror。

以下是代码片段：

我已经为此苦苦挣扎了很长时间。任何帮助都会非常有帮助

我目前正在第一次使用深度 q-learning 训练多个循环卷积神经网络。

输入是一个 11x11x1 矩阵，每个网络由 4 个卷积层组成，尺寸分别为 3x3x16、3x3x32、3x3x64、3x3x64。我使用 stride=1 和 padding=1。每个 convLayer 之后都是 ReLU 激活。输出被馈送到具有 128 个单元的前馈全连接密集层，然后进入 LSTM 层，也包含 128 个单元。两个紧随其后的致密层产生不同的优势和价值流。

所以训练现在已经运行了几天，现在我已经意识到（在我阅读了一些相关论文之后），我没有在第一个密集层之后添加激活函数（就像在大多数论文中一样）。我想知道添加一个是否会显着改善我的网络？由于我正在为大学训练网络，我没有无限的时间进行训练，因为我的工作有期限。但是，我在训练神经网络方面没有足够的经验，无法决定做什么……你有什么建议？我感谢每一个答案！

我有大约 100k 个大小为 256 的数组，我想将它们输入到由几个密集层组成的神经网络中，并输出 100k 个大小为 256 的数组。（我希望我的网络将输入数组转换为输出数组） . 我无法正确设置它。

我的X_train和y_train有形状(98304, 256)，我的X_test和y_test (16384, 256)。

我现在的网络是

网络实际运行，但没有给出任何有意义的结果。它在 20 个 epoch 后停止，因为我给它提早停止。

如果我尝试用它来预测，我只会得到 nan 值（我的训练集中没有任何 nan）。

希望有人可以帮助我。提前致谢。

编辑 要检查输入或算法是否有问题，我尝试使用以下代码创建输入和目标

我仍然得到

Edit2：如果我增加我的网络的复杂性，我设法使用使用上面的函数创建的 10k 训练数组来获得与 nan 不同的损失。但是，结果仍然很糟糕，这让我怀疑我没有正确设置网络。

新网络：

当他们收敛时的结果

如果我检查网络的输出，无论输入如何，我总是得到一个所有点都在 0.5 左右的向量。

此外，如果我尝试使用预测单个向量，y_pred=model.predict(Xval[3])我会得到错误

我是深度学习的新手，并试图理解隐藏层背后的概念，但我不清楚以下几点：

如果有 3 个隐藏层。当我们将第二层所有节点的输出作为第三层所有节点的输入时，第三层节点的输出有什么不同，因为它们获得相同的输入+相同的参数初始化（根据我读到的内容，我假设一层的所有节点都获得相同的随机参数权重）。

如果我想错了方向，请纠正我。

我在 Keras 库中使用 DenseNet121 CNN，我想在预测图像时可视化特征图。我知道我们自己制作的 CNN 可以做到这一点。

Keras 中可用的模型（如 DenseNet）是否也是如此？

我在我的一个项目中使用了一个密集网络模型，并且在使用正则化时遇到了一些困难。

如果没有任何正则化，验证和训练损失 (MSE) 都会减少。但是，训练损失下降得更快，导致最终模型出现一些过度拟合。

所以我决定使用 dropout 来避免过拟合。使用 Dropout 时，在第一个 epoch 期间验证和训练损失都减少到大约 0.13，并在大约 10 个 epoch 内保持不变。

之后，两个损失函数都以与没有 dropout 相同的方式减小，从而再次导致过度拟合。最终的损失值与没有 dropout 的范围大致相同。

所以对我来说，辍学似乎并没有真正起作用。

如果我切换到 L2 正则化，我能够避免过度拟合，但我宁愿使用 Dropout 作为正则化器。

现在我想知道是否有人经历过这种行为？

我在密集块（瓶颈层）和过渡块（辍学率 = 0.5）中都使用了 dropout：

我正在制作一个图像分类器，当我使用 Vgg16、DenseNet 等时，会发生此错误。在使用 this 打印模型后，我已经看到了模型model = models.densenet169(pretrained=True)。

现在，这是实际错误 -

这就是我实现模型的方式，

这是我的混淆矩阵部分-

谁能告诉我是什么问题？我对正在发生的事情一无所知，因为对于 ResNet，它运行良好。除此之外不应该有任何错误。谢谢你。

我必须将密集网络中的 fc 层转换为 conv 层。下面是密集网络的架构。

我已经通过这些行更改了输出层的最后两行

但是在训练模型时出现错误。

完整的错误跟踪