tensorflow - 重新加载模型后validation_loss突然下降

Question

我正在 keras / tensorflow 中测试 cGAN，经过 1000 个 epoch 后，我保存了模型。

一段时间后我恢复了

1. 生成器模型 + 权重
2. 判别器模型 + 权重
3. GAN 权重（模型被重新创建）

这是生成的 val_accuracy：

可以清楚地看到恢复模型后 val_loss 有一个巨大的下降。

有人可以解释一下为什么/是什么导致了这种情况吗？

Answer 1

可能需要进一步分析来证明这一点，但您可能只是无意中发现了一种称为“热重启”的技术。简单地说，您通常使用退火学习来训练您的模型，停止，重置学习率并重新开始。直观地，您为模型提供了跳出局部最小值的机会，这可能会导致观察到的行为。