lstm - 解决 VAE 中的爆炸梯度

Question

如何解决深度生成模型 (VAE) 中的爆炸梯度？

注意：数据集在列中包含很多 NaN 值

Answer 1

我不确定爆炸梯度对于 VAE 来说是典型的。这可能是您的代码中的另一个问题。然而，爆炸梯度通常通过梯度裁剪来解决：

weights = weights*clipping_threshold/l2_norm(weights)

其中clipping_threshold 等于1。

Answer 2

默认情况下，VAE 无法处理丢失的数据。首先清理您的数据或尝试应用一些方法来处理丢失的数据，即：

https://arxiv.org/abs/2006.05301