2

我已经使用编码器/解码器结构 + 注意力 + 手套在 Keras 中成功训练了一个模型，下面有几个例子，最值得注意的是这个和这个。它基于对机器翻译的修改。这是一个聊天机器人，所以输入是单词，输出也是。但是，我一直在努力正确设置推理（预测），并且无法弄清楚如何通过图形断开连接。我的带有嵌入和注意力的双向 RNN 编码器/解码器训练良好。我试过修改解码器，但觉得有一些明显的东西我没有看到。

这是基本模型：

from keras.models import Model
from keras.layers.recurrent import LSTM
from keras.layers import Dense, Input, Embedding, Bidirectional, RepeatVector, concatenate, Concatenate

## PARAMETERS
HIDDEN_UNITS = 100
encoder_max_seq_length = 1037 # maximum size of input sequence
decoder_max_seq_length = 187 # maximum size of output sequence
num_encoder_tokens = 6502 # a.k.a the size of the input vocabulary
num_decoder_tokens = 4802 # a.k.a the size of the output vocabulary

## ENCODER
encoder_inputs = Input(shape=(encoder_max_seq_length, ), name='encoder_inputs')
encoder_embedding = Embedding(input_dim = num_encoder_tokens, 
                              output_dim = HIDDEN_UNITS,
                              input_length = encoder_max_seq_length,
                              weights = [embedding_matrix],
                              name='encoder_embedding')(encoder_inputs)

encoder_lstm = Bidirectional(LSTM(units = HIDDEN_UNITS,
                                  return_sequences=True,
                                  name='encoder_lstm'))(encoder_embedding)
## ATTENTION
attention = AttentionL(encoder_max_seq_length)(encoder_lstm)
attention = RepeatVector(decoder_max_seq_length)(attention)

## DECODER
decoder_inputs = Input(shape = (decoder_max_seq_length, num_decoder_tokens),
                       name='decoder_inputs')

merge = concatenate([attention, decoder_inputs])

decoder_lstm = Bidirectional(LSTM(units = HIDDEN_UNITS*2,
                    return_sequences = True,
                    name='decoder_lstm'))(merge)

decoder_dense = Dense(units=num_decoder_tokens, 
                      activation='softmax', 
                      name='decoder_dense')(decoder_lstm)

decoder_outputs = decoder_dense

## Configure the model
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
model.load_weights('trained_models/viable-2/word-weights.h5')
encoder_model = Model(encoder_inputs, attention)
model.compile(loss='categorical_crossentropy', optimizer='adam')

它看起来像这样： 在此处输入图像描述

这是我遇到麻烦的地方：

## INFERENCE decoder setup
decoder_inputs_2 = Concatenate()([decoder_inputs, attention])
decoder_lstm = Bidirectional(LSTM(units=HIDDEN_UNITS*2, return_state = True, name='decoder_lstm'))
decoder_outputs, forward_h, forward_c, backward_h, backward_c= decoder_lstm(decoder_inputs_2)
state_h = Concatenate()([forward_h, backward_h])
state_c = Concatenate()([forward_c, backward_c])
decoder_states = [state_h, state_c]
decoder_dense = Dense(units=num_decoder_tokens, activation='softmax', name='decoder_dense')
decoder_outputs = decoder_dense(decoder_outputs)

decoder_model = Model([decoder_inputs, attention], [decoder_outputs] + decoder_states)

这会产生图形断开错误：图形断开连接：无法在“encoder_inputs”层获得张量 Tensor("encoder_inputs_61:0", shape=(?, 1037), dtype=float32) 的值。访问以下先前层没有问题：[]

应该可以进行这样的推理，但我无法克服这个错误。我不可能简单地将decoder_output 和attention 加在一起，因为它们的形状不同。

4

0 回答 0