neural-network - 有了偏差，ANN 不再收敛

Question

我正在学习 ANN，我为简单的二进制分类问题做了两个脚本（在 fortran90 和 python 中）。

我第一次没有偏见，我得到了很好的收敛。但是为每个节点添加一个偏差，它不再收敛（或者一切都接近 0 或一切都接近 1）

偏差为 1，并且对每个节点都有特定的权重。它是随机初始化的，然后更新添加增量，例如其他权重。我试图改变梯度步长，但它仍然在做同样的事情。

有人有什么线索吗？......

编辑 ：

网络 ：

    IN                HIDDEN             OUTPUT node
(each column is a     LAYERS          (each column is
training data)   (2layers of 3node)   the wanted result)


          W1      .___W2__.    W3
|0|0|1|1|-------->|___|___|______
|0|1|0|1|--\/_-\->|___|___|______\_--> |1|1|0|0|
|1|0|1|1|--/\__/->|___|___|______/

激活函数是一个 sigmoid (1/(1+exp(-x)))

权重初始化为 [-1, 1] 范围内的正态分布

Answer 1

你可能有问题：

https://datascience.stackexchange.com/questions/15602/training-my-neural-network-to-overfit-my-training-dataset

你也应该小心你的学习步骤，如果它太大你不能收敛。