python - tf.nn.softmax_cross_entropy_with_logits 是否考虑批量大小？

Question

是否tf.nn.softmax_cross_entropy_with_logits考虑批量大小？

在我的 LSTM 网络中，我提供了不同大小的批次，我想知道在优化之前是否应该根据批次大小对误差进行归一化。

Answer 1

在文档中它说 softmax_cross_entropy_with_logits 返回一个长度等于批量大小的向量。要获得标量成本，您可以tf.reduce_mean在该向量上执行。那么你的损失就不会受到批量大小的影响。