tensorflow - 如何为您的训练模型选择半精度（BFLOAT16 vs FLOAT16）？

Question

您将如何决定哪种精度最适合您的推理模型？BF16 和 F16 都占用两个字节，但它们对分数和指数使用不同的位数。

范围会有所不同，但我试图理解为什么一个人选择了一个而不是另一个。

谢谢

    |--------+------+----------+----------|
    | Format | Bits | Exponent | Fraction |
    |--------+------+----------+----------|
    | FP32   |   32 |        8 |       23 |
    | FP16   |   16 |        5 |       10 |
    | BF16   |   16 |        8 |        7 |
    |--------+------+----------+----------|

Range
bfloat16: ~1.18e-38 … ~3.40e38 with 3 significant decimal digits.
float16:  ~5.96e−8 (6.10e−5) … 65504 with 4 significant decimal digits precision.

Answer 1

bfloat16通常更容易使用，因为它可以作为float32. 如果您的代码没有创建nan/inf数字或将 non-0转换为0with ，那么粗略地说float32，它不应该这样做。bfloat16所以，如果你的硬件支持它，我会选择它。

如果您选择，请查看AMPfloat16。