python - 解码后的Encoder-Decoder噪声问题

Question

我有一个大小为 (12960, ) 的数组，我正在使用非常简单的密集自动编码器架构来重现数组，如下所示。

input_img = Input(shape=(12960,))

encoded = Dense(units=2000, activation='relu')(input_img)
decoded = Dense(units=12960, activation='relu')(encoded)

现在我使用 20 epoch 和 64 batch size 来训练模型。

但是当我在解码后绘制数组时，我在很多地方都会得到某种噪声（或 0 值）。我在下面附上了原始和解码的图像。有人可以解释一下为什么会这样。我是深度学习的新手，所以我不太了解它的工作原理。是因为我使用的是非常简单的架构，还是在编码时压缩了很多？

Answer 1

尝试使用 LeakyReLU 而不是 ReLU。

可能是因为 ReLU 被定义为ReLU(x) = max(0, x)，所以对于负值 ReLU 总是返回 0。