keras - 在 keras API 中为 LSTM 单元提供输入

Question

我正在阅读深度学习中的 LSTM。来自 Andrew Ng 教授课程 LSTM 每个 LSTM 单元的三个输入。

输入是来自前一个单元的单元状态，即“c”上标（t-1）和 LSTM 单元“a”上标（t-1）和输入 x 上标（t）的输出。

LSTM 单元的输出是当前单元状态，即“c”上标 (t) 和 LSTM 单元“a”上标 (t) 的输出。

我们如何在 keras 中为上述输入传递 LSTM 单元的初始化参数？

谢谢您的帮助。简单的例子会很有帮助。

Answer 1

默认情况下，您不必为 keras 中的 LSTM 层指定初始状态。

如果您想指定初始状态，您可以这样做LSTM(units)(input, initial_state)，其中initial_state是张量列表[hidden_state, cell_State]。和hidden_state分别cell_state由您的符号“a”上标（t-1）和“c”上标（t-1）表示。每个事件都有一个隐藏状态和一个单元状态，因此在训练时每个形状都应该是(batch_size, units)。

下面是一个关于如何做到这一点的最小工作示例tf.keras（应该是相同的keras，但尚未测试代码）

from tensorflow import keras 
import numpy as np

n_features=3
n_timelag=10
n_pred=1
batch_size=32
lstm_size=30

# make initial state
single_hidden_state=np.random.random(lstm_size)
single_cell_state=np.random.random(lstm_size)
# clone for each batch
hidden_state=np.tile(single_hidden_state,(batch_size,1))
cell_state=np.tile(single_cell_state,(batch_size,1))
# numpy to tensorflow constant
initial_state=[keras.backend.constant(hidden_state),keras.backend.constant(cell_state)]

# create training data
X=np.random.random((batch_size,n_timelag,n_features))
Y=np.random.random((batch_size,n_pred))

# create network
inp=keras.Input((n_timelag,n_features))
lstm_l1=keras.layers.LSTM(lstm_size)(inp, initial_state=initial_state)
pred = keras.layers.Dense(n_pred)(lstm_l1)

# create model
model = keras.models.Model(inputs=inp, outputs=pred)
model.compile(loss='mse', optimizer='adam')

# train model
model.fit(X,Y)

有关如何在 keras 中处理 LSTM 初始状态和序列到序列的更多信息，请参阅此链接