1

我正在部署一个Bidirectional LSTM Autoencoder，并在attention layer此基础上添加。

在添加注意力层之前，它工作正常。我从这篇文章中得到了添加注意力层的想法。添加注意力后，它抱怨尺寸不兼容。

这是我添加注意后的代码：

inputs = Input(shape=(SEQUENCE_LEN, EMBED_SIZE), name="input")
encoded = Bidirectional(LSTM(LATENT_SIZE, return_sequences=True), name="encoder_lstm")(inputs)
attention = Dense(SEQUENCE_LEN, activation='tanh')(encoded)
attention = Flatten()(attention)
attention = Activation('softmax')(attention)
attention = RepeatVector(SEQUENCE_LEN)(attention)
attention = Permute([2, 1])(attention)
sent_representation = merge([encoded, attention], mode='mul')
sent_representation = Lambda(lambda xin: K.sum(xin, axis=-2), output_shape=(units,))(sent_representation)
autoencoder = Model(inputs, sent_representation)
autoencoder.compile(optimizer="sgd", loss='mse')

这是我得到的错误：

Using TensorFlow backend.
(?, 40, 50)
(?, 40, 40)
Traceback (most recent call last):
(?, 40, 40)
  File "/home/sgnbx/Downloads/projects/LSTM_autoencoder-master/walkingaround.py", line 131, in <module>
    sent_representation = merge([activations, attention], mode='mul')
  File "/home/sgnbx/anaconda3/envs/tf_gpu/lib/python3.4/site-packages/keras/engine/topology.py", line 470, in __call__
    self.assert_input_compatibility(x)
  File "/home/sgnbx/anaconda3/envs/tf_gpu/lib/python3.4/site-packages/keras/engine/topology.py", line 411, in assert_input_compatibility
    str(K.ndim(x)))
Exception: Input 0 is incompatible with layer dense_1: expected ndim=2, found ndim=3

我已阅读有关此错误的几篇文章，即：this和this和this。但它们与我的错误不同。另外，有些人建议让return_sequences = False，但我认为这不是正确的方法。稍后在代码中，如果我们将其设置为 False，它会再次引发错误！

所以，我觉得我做错了什么，否则，为什么网络应该用标准架构引发错误。

所以我的问题是：这个网络出了什么问题，我该如何修复它。

如果您能详细解释一下，我将不胜感激，这样我就可以更好地掌握或给我一些链接来讨论我的代码中的冲突。

提前致谢！

4

1 回答 1

1

更正下面的行：

encoded = Bidirectional(LSTM(LATENT_SIZE, return_sequences=False), name="encoder_lstm")(inputs)

只需将返回序列设为 False。

于 2019-12-03T12:21:14.287 回答