0

这显然是我写的带有嵌入的 seq2seq 模型的代码

    encoder_inputs = Input(shape=(MAX_LEN, ), dtype='int32',)
    encoder_embedding = embed_layer(encoder_inputs)
    encoder_LSTM = LSTM(HIDDEN_DIM, return_state=True)
    encoder_outputs, state_h, state_c = encoder_LSTM(encoder_embedding)
    encoder_states = [state_h, state_c]
    decoder_inputs = Input(shape=(MAX_LEN, ))
    decoder_embedding = embed_layer(decoder_inputs)
    decoder_LSTM = LSTM(HIDDEN_DIM, return_state=True, return_sequences=True)
    decoder_outputs, _, _ = decoder_LSTM(
        decoder_embedding, initial_state=encoder_states)
    outputs = TimeDistributed(
        Dense(VOCAB_SIZE, activation='softmax'))(decoder_outputs)
    model = Model([encoder_inputs, decoder_inputs], outputs)

    # defining inference model
    encoder_model = Model(encoder_inputs, encoder_states)
    decoder_state_input_h = Input(shape=(None,))
    decoder_state_input_c = Input(shape=(None,))
    decoder_states_inputs = [decoder_state_input_h, decoder_state_input_c]
    decoder_outputs, state_h, state_c = decoder_LSTM(
        decoder_embedding, initial_state=decoder_states_inputs)
    decoder_states = [state_h, state_c]
    outputs = TimeDistributed(
        Dense(VOCAB_SIZE, activation='softmax'))(decoder_outputs)
    decoder_model = Model(
        [decoder_inputs] + decoder_states_inputs, [outputs] + decoder_states)
    return model, encoder_model, decoder_model

我们正在使用推理模式进行预测，特别是编码器和解码器模型，但我不确定编码器和解码器的训练在哪里进行？

编辑 1

代码基于：https://keras.io/examples/lstm_seq2seq/，添加了嵌入层和时间分布密集层。
有关问题的更多信息：github repo

4

1 回答 1

1

编码器和解码器同时训练，或者更准确地说，由这两者组成的模型被训练，然后训练它们两者（这不是 GAN，你需要一些花哨的训练周期）

如果您仔细查看提供的链接，会发现有一个部分是训练模型的地方。

# Run training
model.compile(optimizer='rmsprop', loss='categorical_crossentropy',
              metrics=['accuracy'])
model.fit([encoder_input_data, decoder_input_data], decoder_target_data,
          batch_size=batch_size,
          epochs=epochs,
          validation_split=0.2)

编辑：来自评论

如果您仔细观察，您在拟合后定义的“新”模型由在上一步中已经训练的层组成。即 Model(encoder_inputs, encoder_states) 在初始训练期间使用了 encoder_inputs 和 encoder_states，你只是重新打包它们。

于 2020-02-09T10:03:29.247 回答