问题标签 [loss]

我试图编写一个神经网络，但准确性不会改变每个时期。我正在使用 keras，我可以观察到每个 epoch 本身评估时的精度变化，它会从低开始，上升一点，然后在每次example output时回落到完全相同的值。我试过改变批量大小、学习率、稍微改变数据，但每次都做同样的事情，只是可能有不同的准确度值。我也尝试过不同的优化器。任何帮助表示赞赏。（我也能够得到一个 mnist 示例）

我了解您如何保存模型和权重文件并重新加载它们。我不明白为什么要使用优化器进行编译

既然你不再处于梯度下降阶段，为什么还需要损失函数和优化器呢？

我已经阅读了提到新损失函数的论文，它为分类器增加了更多的判别属性。这是链接 http://ydwen.github.io/papers/WenECCV16.pdf 在等式 3 中，他们提到了如何获取中心变量的梯度 wrt 损失。但目前还不清楚他们是如何做到的。

嗨，我正在尝试进入 tensorflow 并且感觉有点愚蠢。TF 中的 log_loss 与 sklearn 的不同吗？

以下是我的代码中的一些行，我是如何计算的：

我得到的输出

似乎同时tf.log_loss收敛sk.log_loss发散。

我正在使用 keras 进行图像去马赛克。我正在使用不同的渠道，然后我正在构建一个 MLP。代码如下-：

输入是 16 个原始像素。但正如可见的错误并没有下降，似乎我正在远离数据云。这可能是什么原因？是不是我需要在输入 MLP 之前进行一些预处理？如何确保我收敛。我正在使用简单的 MLP，您认为我应该更改模型吗？我应该在拜耳模式上使用 CNN。

谁能用简单的话解释一下机器学习/神经网络领域的损失函数是什么？

这是在我学习 Tensorflow 教程时出现的： https ://www.tensorflow.org/get_started/get_started

我是 Keras 和 Theano 的新手，现在尝试在 Keras 上实现我自己的损失函数。但是出现了这个错误。我认为问题在于我自己的损失函数，但我现在知道如何解决它。有人可以帮我解决这个问题吗？

keras 层：

这是错误：

我有一个模型，每个时期后都有N输入和6输出。

我的输出看起来像，[x y z xx yy zz]我想最小化每个术语的 MSE。但是，我注意到当我使用 MSE 作为损失函数时，它只是取整组平方和的平均值。

下面是我在训练网络中的最后一层：

注意我采用了 softmax_loss 层。由于它的计算形式是这样的：-log（概率），所以很奇怪损失可以是负数，如下所示（迭代 80）。

谁能为我解释一下？这怎么会发生？非常感谢！

PS：我这里做的任务是语义分割。总共有 20 个对象类加上背景（所以 21 个类）。标签范围为 0-21。额外的标签 225 被忽略，可以在本文开头的 SoftmaxWithLoss 定义中找到。

我是 matconvnet 的新手。最近，我想尝试一种新的损失函数来代替预训练模型中现有的损失函数，例如 vgg-16，它通常使用 softmax 损失层。更重要的是，我想使用一个新的特征提取层，而不是池化层或最大层​​。我知道 matconvnet、simpleNN 和 DagNN 中分别有 2 个 CNN 包装器，因为我使用的是 vgg-16，这是一个具有线性构建块序列的线性模型。那么，在 simpleNN 包装器中，如何详细创建自定义层，尤其是过程和相关概念，例如，我需要删除新特征提取器层后面的层还是只保留它们？而且我知道如何计算损失函数的导数，因此层内的计算细节在这个问题中并不重要，我只想知道代码所代表的过程。有人可以帮助我吗？我会很感激的！