我已经实现了模拟退火来解决一个简单的权重绑定神经网络的成本函数，但我收到了一些奇怪的结果。
逻辑：
- Forward prop：f(W*x+b)，其中 f = tanh，W = 权重矩阵，x = 输入数据，b = 偏差
- 权重和偏差使用 rnd 高斯权重随机初始化
- 权重和偏差由 W/norm2(W) 和 b/norm2(b) 归一化
- 扰动 W 为：W +/- rnd_unif[0,1] & 对 b 做同样的事情
- 再次转发道具，如果 MSE < 先前的 MSE 接受，否则使用退火标准
- 每隔 n 次接受更新一次温度。使用通用 T=T*0.9
似乎正在发生的事情是网络确实按预期降低了成本，但是一些错误预测的 MSE 低于“正常”状态 MSE。在反向传播中，我们观察到 MSE 总是较高的错误。我想知道其他人是否遇到了同样的问题。