1

我正在使用表示图像和字幕的向量来执行图像字幕任务。

字幕矢量的长度/尺寸为 128。图像矢量的长度/尺寸为 2048。

我想要做的是训练一个自动编码器，以获得一个能够将文本向量转换为图像向量的编码器。以及能够将图像向量转换为文本向量的解码器。

编码器：128 -> 2048。

解码器：2048 -> 128。

我按照本教程实现了一个浅层网络来做我想做的事情。

但我不知道如何按照相同的教程创建深度网络。

x_dim = 128
y_dim = 2048
x_dim_shape = Input(shape=(x_dim,))
encoded = Dense(512, activation='relu')(x_dim_shape)
encoded = Dense(1024, activation='relu')(encoded)
encoded = Dense(y_dim, activation='relu')(encoded)

decoded = Dense(1024, activation='relu')(encoded)
decoded = Dense(512, activation='relu')(decoded)
decoded = Dense(x_dim, activation='sigmoid')(decoded)

# this model maps an input to its reconstruction
autoencoder = Model(input=x_dim_shape, output=decoded)

# this model maps an input to its encoded representation
encoder = Model(input=x_dim_shape, output=encoded)

encoded_input = Input(shape=(y_dim,))
decoder_layer1 = autoencoder.layers[-3]
decoder_layer2 = autoencoder.layers[-2]
decoder_layer3 = autoencoder.layers[-1]

# create the decoder model
decoder = Model(input=encoded_input, output=decoder_layer3(decoder_layer2(decoder_layer1(encoded_input))))

autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')


autoencoder.fit(training_data_x, training_data_y,
                nb_epoch=50,
                batch_size=256,
                shuffle=True,
                validation_data=(test_data_x, test_data_y))

training_data_x 和 test_data_x 有 128 个维度。training_data_y 和 test_data_y 有 2048 个维度。

我在尝试运行时收到的错误如下：

例外：检查模型目标时出错：预期dense_6具有形状（无，128）但得到的数组具有形状（32360、2048）

dense_6 是最后解码的变量。

4

1 回答 1

3

自动编码器

如果您希望能够单独调用encoderand decoder，您需要做的是完全按照教程训练整个自动编码器，使用input_shape == output_shape（== 128在您的情况下），然后才能调用层的子集：

x_dim = 128
y_dim = 2048
x_dim_shape = Input(shape=(x_dim,))
encoded = Dense(512, activation='relu')(x_dim_shape)
encoded = Dense(1024, activation='relu')(encoded)
encoded = Dense(y_dim, activation='relu')(encoded)

decoded = Dense(1024, activation='relu')(encoded)
decoded = Dense(512, activation='relu')(decoded)
decoded = Dense(x_dim, activation='sigmoid')(decoded)

# this model maps an input to its reconstruction
autoencoder = Model(input=x_dim_shape, output=decoded)
autoencoder.compile(optimizer='adadelta', loss='binary_crossentropy')
autoencoder.fit(training_data_x, training_data_x, nb_epoch=50, batch_size=256, shuffle=True, validation_data=(test_data_x, test_data_y))

# test the decoder model
encoded_input = Input(shape=(y_dim,))
decoder_layer1 = autoencoder.layers[-3]
decoder_layer2 = autoencoder.layers[-2]
decoder_layer3 = autoencoder.layers[-1]

decoder = Model(input=encoded_input, output=decoder_layer3(decoder_layer2(decoder_layer1(encoded_input))))
decoder.compile(optimizer='adadelta', loss='binary_crossentropy')
eval = decoder.evaluate(test_data_y, test_data_x)
print('Decoder evaluation: {:.2f}'.format(eval))

请注意，在调用 时autoencoder.fit()，x == y在参数中。这就是自动编码器（通常）必须优化瓶颈表示（您y在自己的代码中调用）的方式，以最适合尺寸较小的原始图像。

但是，作为这个答案第二部分的过渡，请注意，在您的情况下，x_dim < y_dim. 你实际上是在训练一个模型来增加数据维度，这没有多大意义，AFAICT。

你的问题

现在再次阅读您的问题，我认为自动编码器对您想要实现的目标没有任何好处。它们旨在降低数据的维数，同时将人员伤亡降至最低。

你想要做的是：

  1. 将文本渲染到图像（您所称的encode）
  2. 从图像中读取文本（您所称的decode）

据我了解，虽然2.可能确实需要一些机器学习，1.但绝对不需要：有很多库可以在图像上编写文本。

于 2016-10-12T12:20:33.167 回答