machine-learning - 重新调整神经网络的输入特征（回归）

Question

在回归问题的神经网络中，我们根据输出激活函数重新缩放连续标签，即如果使用逻辑 sigmoid 则对其进行归一化，如果使用 tanh 则对其进行调整归一化。最后，我们可以恢复原始范围，但将输出神经元重新归一化。

我们还应该规范化输入特征吗？如何？例如，如果隐藏激活与输出激活不同？例如，如果隐藏激活是 TANH，输出激活是 LOGISTIC，那么输入特征应该归一化为 [0,1] 还是 [-1,1] 区间？

Answer 1

简短的回答是肯定的，您还应该缩放输入值，尽管其背后的原因与输出神经元的原因完全不同。激活函数只是使某些输出值无法到达（sigmoid 只能输出 [0,1] 中的值，[-1,1] 中的 tanh），而对于输入则不是这样（所有激活函数都定义在整个 R 域上）。执行缩放输入是为了加快收敛速度​​（因此您不会到达激活函数的“平坦”部分），但没有确切的规则。至少有三种可能性被广泛使用：

• 线性缩放到 [0,1]
• 线性缩放到 [-1,1]
• 归一化为均值 = 0 和标准 = 1

对于某些特定的数据集，每种方法都有自己的优缺点。据我所知，最后一个具有最好的统计特性，但它仍然是神经网络环境中的“经验法则”。