1

我在看博客，作者用'relu'而不是'tanh'，为什么？ https://towardsdatascience.com/step-by-step-understanding-lstm-autoencoder-layers-ffab055b6352

lstm_autoencoder = Sequential()

# Encoder
lstm_autoencoder.add(LSTM(timesteps, activation='relu', input_shape=(timesteps, n_features), 
return_sequences=True))
lstm_autoencoder.add(LSTM(16, activation='relu', return_sequences=True))
lstm_autoencoder.add(LSTM(1, activation='relu'))
lstm_autoencoder.add(RepeatVector(timesteps))

# Decoder
lstm_autoencoder.add(LSTM(timesteps, activation='relu', return_sequences=True))
lstm_autoencoder.add(LSTM(16, activation='relu', return_sequences=True))
lstm_autoencoder.add(TimeDistributed(Dense(n_features)))
4

1 回答 1

0

首先，ReLU 函数不是万能的激活函数。具体来说，它仍然存在梯度爆炸问题，因为它在正域中是无界的。这意味着，这个问题在更深的 LSTM 网络中仍然存在。大多数 LSTM 网络变得非常深，因此它们很有可能遇到梯度爆炸问题。当在每个时间步使用相同的权重矩阵时，RNN 也具有爆炸梯度。有一些方法，例如梯度裁剪，可以帮助减少 RNN 中的这个问题。然而，ReLU 函数本身并不能解决梯度爆炸问题。

ReLU 函数确实有助于减少梯度消失问题，但并不能完全解决梯度消失问题。批量归一化等方法可以帮助进一步减少梯度消失问题。

现在，回答您关于使用 ReLU 函数代替 tanh 函数的问题。据我所知，对于这个特定的门，ReLU 和 tanh 激活函数之间应该没有太大区别。它们都没有完全解决 LSTM 网络中的梯度消失/爆炸问题。有关 LSTM 如何减少梯度消失和爆炸问题的更多信息，请参阅这篇文章。

于 2020-06-15T14:44:59.647 回答