tensorflow - 为什么“softmax_cross_entropy_with_logits_v2”反向传播到标签中

Question

我想知道为什么在 Tensorflow 版本 1.5.0 及更高版本中，softmax_cross_entropy_with_logits_v2默认反向传播到标签和 logits。您希望将哪些应用程序/场景反向传播到标签中？

Answer 1

我看到下面的 github 问题提出了同样的问题，您可能想关注它以获取将来的更新。

https://github.com/tensorflow/minigo/issues/37

我不代表做出这个决定的开发人员，但我推测他们会默认这样做，因为它确实经常使用，并且对于大多数不反向传播到标签的应用程序，标签是一个常数无论如何，不​​会受到不利影响。

反向传播到标签的两个常见用例是：

• 创建对抗样本

围绕构建欺骗神经网络的对抗性示例，有一个完整的研究领域。许多用于这样做的方法涉及训练网络，然后保持网络固定并反向传播到标签（原始图像）以调整它（通常在某些约束下）以产生愚弄网络对图像进行错误分类的结果。

• 可视化神经网络的内部结构。

我还建议人们观看 youtube 上的 deepviz 工具包视频，你会学到很多关于神经网络学习的内部表示的知识。

https://www.youtube.com/watch?v=AgkfIQ4IGaM

如果您继续深入研究并找到原始论文，您会发现它们还会反向传播到标签中以生成高度激活网络中某些过滤器的图像，以便理解它们。