假设您想根据一些输入数据预测温度变化。温度变化是平均值为零的正或负标量。如果只有方向很重要,就可以在输出层中使用 tanh 作为激活函数。但是对于三角洲温度来说,预测变化的幅度也很重要,而不仅仅是符号。
您将如何建模此输出。tanh 似乎不是一个好的选择,因为它给出的值介于 -1 和 1 之间。假设温度变化具有高斯分布或其他一些奇怪的分布,因此徘徊在 tanh(+-0) 的中心准线性域周围对于神经网络来说很难学习。我担心信号会很好,但幅度输出会没用。
如何让网络输出长度为 N 的 one-hot 向量,将此输出向量的 argmax 视为预定义窗口上的温度变化。假设窗口为 -30 - +30 度,使用 N=60 长的 one-hot 向量,如果 argmax( output )=45 表示预测约为 15 度。
我实际上不知道如何搜索这个主题。