前馈神经网络的训练算法是否有任何实现（或直接描述），它不使用 sigmoid 或线性 squash 函数，而是使用不可微分的函数，例如 heaviside 函数？
我已经找到了一篇关于这种算法的论文，但没有相应的实现，这让我感到困惑，在我看来，应该有一些东西出来。
有什么提示吗？
问问题
3813 次
1 回答
8
反向传播不适用于重边函数，因为它的导数在所有域中都是零，除了点零，它是无限的。也就是说，重边函数的导数是狄拉克三角洲。
这样做的结果是除了零之外的任何值都没有变化，并且无法取得进展。在零点，导数是无限的，因此该步也不可控。
你可以在网上找到这个函数的 Java 实现，但我仍然认为使用它不是一个好主意。如果你增加 sigmoid 函数中的 gama 功率，它就变成了一个非常好的近似重边函数，并增加了可微性的好处。
查看这篇论文，看看它是否有任何可能对您有帮助的信息。
于 2012-06-15T12:48:17.153 回答