tensorflow - 在 Keras 中使用 Masking-layer 和 ConvLSTM2D-layer

Question

我正在尝试使用带有 TensorFlow 后端（1.2.1）的 Keras（2.0.6）从卷积 LSTM 层中屏蔽丢失的数据：

import keras
from keras.models import Sequential
from keras.layers import Masking, ConvLSTM2D

n_timesteps = 10
n_width = 64
n_height = 64
n_channels = 1

model = Sequential()
model.add(Masking(mask_value = 0., input_shape = (n_timesteps, n_width, n_height, n_channels)))
model.add(ConvLSTM2D(filters = 64, kernel_size = (3, 3)))

但是我收到以下ValueError：

ValueError: Shape must be rank 4 but is rank 2 for 'conv_lst_m2d_1/while/Tile' (op: 'Tile') with input shapes: [?,64,64,1], [2].

如何将 Masking 与 ConvLSTM2D 层一起使用？

Answer 1

在将 Masking 层应用于图像等任意张量时，Keras 似乎存在问题。我可以找到一个（远非理想的）解决方法，该解决方法涉及在应用遮罩层之前展平输入。所以考虑原始模型：

model = Sequential()
model.add(Masking(mask_value=0., input_shape=(n_timesteps, n_width, n_height, n_channels)))
model.add(ConvLSTM2D(filters=64, kernel_size=(3, 3)))

我们可以修改如下：

input_shape = (n_timesteps, n_width, n_height, n_channels)
model = Sequential()
model.add(TimeDistributed(Flatten(), input_shape=input_shape))
model.add(TimeDistributed(Masking(mask_value=0.)))
model.add(TimeDistributed(Reshape(input_shape[1:])))
model.add(ConvLSTM2D(filters=64, kernel_size=(3, 3)))

此解决方案在您的图中添加了额外的计算，但没有额外的参数。