1

我已经阅读了关于 tensorflow 2.1 中混合精度的官方文档，并得到了几个关于混合精度的问题：

  1. 为什么我们将输出转换为float32即使我们使用mixed_float16实际上float16在中间层输出的 ？官方文件说的输出在float16数值上并不总是稳定的，但这意味着什么？为什么要简单地强制转换来float32提高数值稳定性？
  2. 该文档建议使用损失缩放来避免下溢。但是，由于网络的权重、损失和梯度都是float32，那么这种下溢怎么会发生呢？
4

0 回答 0