algorithm - 如何最小化这个函数并用反向传播算法应用它

Question

我目前正在使用反向传播算法来挖掘数据。我正在尝试将相关论文中的几种算法应用于我的案例。在这里，我发现其中一位说“应用反向传播算法来更新权重（w，v）并最小化以下函数”：

θ(w,v) = F(w,v) + P(w,v)

其中 F(w,v) 是交叉熵函数，P(w,v) 是惩罚项。我没有这个意思，因为我发现编程术语中的“最小化”有几个含义。

请给我一些建议，我应该如何处理该函数，以及如何将其应用于反向传播。

谢谢你。

Answer 1

Backprop 是一种用于计算损失函数 wrt 的导数/梯度的算法。神经网络的权重。当与优化算法（通常是梯度下降或共轭梯度，尽管也使用其他算法）结合使用时，它可用于找到最小化训练集损失函数的 NN 权重。

即，建议您通过最小化正则化交叉熵损失来训练神经网络。这就是“训练”神经网络进行分类的通常含义，以及许多 NN 库/工具包的实际作用。

（当然，如果P是一些非标准的惩罚项，您可能必须自己实现反向传播或找到可扩展的工具包；不可微的惩罚项也可能需要更改优化算法。）