6

IJ Goodfellow 最初提出的 GAN 使用以下损失函数，

D_loss = - log[D(X)] - log[1 - D(G(Z))]

G_loss = - log[D(G(Z))]

因此，鉴别器试图最小化 D_loss，生成器试图最小化 G_loss，其中 X 和 Z 分别是训练输入和噪声输入。D(.) 和 G(.) 分别是鉴别器和生成器神经网络的映射。

正如原始论文所说，当 GAN 训练几个步骤时，它会达到生成器和判别器都无法改进且 D(Y) 处处为 0.5 的点，Y 是判别器的一些输入。在这种情况下，当 GAN 被充分训练到这一点时，

D_loss = - log(0.5) - log(1 - 0.5) = 0.693 + 0.693 = 1.386

G_loss = - log(0.5) = 0.693

那么，为什么我们不能使用 D_loss 和 G_loss 值作为评估 GAN 的指标呢？

如果两个损失函数偏离了这些理想值，那么 GAN 肯定需要训练好或者架构需要设计好。正如原始论文中的定理 1 所讨论的，这些是 D_loss 和 G_loss 的最佳值，但是为什么不能将它们用作评估指标呢？

4

1 回答 1

9

我认为这个问题属于交叉验证，但无论如何：

我为此苦苦挣扎了一段时间，想知道为什么没有提出这个问题。以下是我目前所处的位置。不确定它是否会帮助你，但这是我的一些直觉。

G 和 D 损失是失败案例的良好指标......
当然，如果 G 损失是一个非常大的数字而 D 为零，那么您的 GAN 中没有发生任何好事。

...但不是很好的性能指标。
我训练了一堆 GAN，除了非常简单的例子外，几乎从未见过“0.5/0.5 案例”。大多数时候，当输出 D(x) 和 D(G(z))（以及因此损失）或多或少稳定时，您会很高兴。因此，不要将这些值视为“黄金标准”。
我缺少的一个关键直觉是 G 和 D 训练的同时进行。一开始，G 确实不擅长生成东西，但 D 也很不擅长区分它们。随着时间的推移，G 变得更好，但 D 也变得更好。所以经过很多个epoch，我们可以认为D真的很擅长辨别真假。因此，即使 G 仅在 5% 的时间里“愚弄”了 D（即 D(x)=0.95 和 D(G(z))=0.05），也可能意味着 G 实际上非常好，因为它有时会愚弄一个真正的好的鉴别器。
如您所知，目前除了查看图像质量之外，还没有可靠的图像质量指标，但我发现对于我的用例，G 可以生成出色的图像，而仅在百分之几的时间内愚弄 D。
这种同时训练的一个推论是训练开始时发生的事情：你可以让 D(X)=0.5 和 D(G(Z))=0.5，仍然让 G 产生几乎随机的图像：只是 D 是还不足以将它们与真实图像区分开来。

我看到你发布这个问题已经有几个月了。如果您在此期间获得了直觉，我会很高兴听到它！

于 2018-07-09T13:25:21.793 回答