tensorflow - TensorFlow softmax_crossentropy_with logits：是否也训练了“标签”（如果可微分）？

Question

带有 logits 损失函数的 softmax 交叉熵用于减少提供给函数的 logits 和标签之间的差异。通常，对于监督学习，标签是固定的，而 logits 是经过调整的。但是当标签来自一个可区分的来源时会发生什么，例如，另一个网络？两个网络，即“logits 网络”和“标签网络”是否都得到了后续优化器的训练，或者这个损失函数是否总是将标签视为固定的？

TLDR： tf.nn.softmax_cross_entropy_with_logits() 是否也为标签提供梯度（如果它们是可微的），还是它们总是被认为是固定的？

谢谢！

Answer 1

您需要使用 tf.softmax_cross_entropy_with_logits_v2 来获得关于标签的梯度。

Answer 2

梯度是根据提供给优化器的损失计算的，如果“标签”来自另一个可训练的网络，那么是的，这些将被修改，因为它们会影响损失。为您自己使用另一个网络输出的正确方法是将其定义为不可训练，或者列出您想要训练的所有变量并将它们显式传递给优化器。