0

我实现了一个序列到序列编码器解码器，但我在预测中改变我的目标长度时遇到了问题。它适用于相同长度的训练序列，但如果不同则无效。我需要改变什么？

from keras.models import Model
from keras.layers import Input, LSTM, Dense
import numpy as np

num_encoder_tokens = 2
num_decoder_tokens = 2
encoder_seq_length = None
decoder_seq_length = None
batch_size = 100
epochs = 2000
hidden_units=10
timesteps=10

input_seqs = np.random.random((1000, 10, num_encoder_tokens))
target_seqs = np.random.random((1000, 10, num_decoder_tokens))



#define training encoder
encoder_inputs = Input(shape=(None, num_encoder_tokens))
encoder = LSTM(hidden_units, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
encoder_states = [state_h, state_c]
#define training decoder
decoder_inputs = Input(shape=(None,num_decoder_tokens))
decoder_lstm = LSTM(hidden_units, return_sequences=True, return_state=True)
decoder_outputs, _, _ = decoder_lstm(decoder_inputs, initial_state=encoder_states)
decoder_dense = Dense(num_encoder_tokens, activation='tanh')
decoder_outputs = decoder_dense(decoder_outputs)
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)

#Run training
model.compile(optimizer='adam', loss='mse')
model.fit([input_seqs, target_seqs], target_seqs,batch_size=batch_size, epochs=epochs)

#new target data
target_seqs = np.random.random((2000, 10, num_decoder_tokens))


# define inference encoder
encoder_model = Model(encoder_inputs, encoder_states)
# define inference decoder
decoder_state_input_h = Input(shape=(hidden_units,))
decoder_state_input_c = Input(shape=(hidden_units,))
decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
decoder_outputs, state_h, state_c = decoder_lstm(decoder_inputs, initial_state=decoder_states_inputs)
decoder_states = [state_h, state_c]
decoder_outputs = decoder_dense(decoder_outputs)
decoder_model = Model([decoder_inputs] + decoder_states_inputs, [decoder_outputs] + decoder_states)

# Initalizse states 
states_values = encoder_model.predict(input_seqs)

在这里它需要与 input_seqs 中相同的批量大小，并且不接受具有 2000 个批次的 target_seqs

target_seq = np.zeros((1, 1, num_decoder_tokens))
output=list()
for t in range(timesteps):
    output_tokens, h, c  = decoder_model.predict([target_seqs] + states_values)
    output.append(output_tokens[0,0,:])
    states_values = [h,c]
    target_seq = output_tokens

我需要改变什么模型接受可变长度的输入？

4

2 回答 2

1

您可以在数据中创建一个表示end_of_sequence.

您将长度保持在最大值，并可能使用一些Masking(mask_value)层来避免处理不需要的步骤。

在输入和输出中，您添加end_of_sequence令牌并使用 完成缺少的步骤mask_value。

例子：

  • 最长的序列有 4 个步骤
    • 将其设为 5 添加end_of_sequence令牌：
      • [step1, step2, step3, step4, end_of_sequence]
  • 考虑一个更短的序列：
    • [step1, step2, end_of_sequence, mask_value, mask_value]

然后你的形状将是(batch, 5, features)。

您的另一个问题中描述了另一种方法，其中用户手动循环每个步骤并检查此步骤的结果是否是end_of_sequence令牌：两个序列到序列模型 keras 之间的差异（有和没有 RepeatVector）

如果这是一个自动编码器，还有另一种可变长度的可能性，您可以直接从输入中获取长度（必须提供每个只有一个序列的批次，没有填充/屏蔽）：How to apply LSTM-autoencoder to variant-length时间序列数据？

这是另一种方法，我们将输入长度显式存储在潜在向量的保留元素中，然后我们读取它（也必须每批仅使用一个序列运行，无填充）：keras 中的可变长度输出

于 2018-07-24T16:51:34.933 回答
0

不幸的是，你不能这样做。您必须将输入设置为最大预期长度。然后，您可以使用带有嵌入层的遮罩层或使用遮罩值作为

keras.layers.Masking(mask_value=0.0)

在此处查看更多信息。

于 2018-07-24T15:18:54.593 回答