python - 使用 Sigmoid 代替 Tanh 激活函数失败 - 神经网络

Question

我正在查看此博客中的以下代码

它提供了同时使用sigmoid和tanh激活函数的选项。

XOR 测试似乎与产生的函数配合得很好tanh~(0,1,1,0)

但是在更改为sigmoid我得到错误的输出〜(0.5,0.5,0.5,0.5)

我已经用我在网上找到的另一段代码尝试了这个，并且出现了完全相同的问题。

似乎唯一改变的是激活函数（及其导数）。改变这一点是否需要其他改变，比如反向传播？

非常感谢您的帮助！

Answer 1

看起来您使用的模型不会训练偏见。tanh和之间的唯一区别sigmoid是缩放和偏移。学习新的缩放将通过权重完成，但您还需要学习补偿新的偏移量，这也应该通过学习偏差来完成。