python - 语言模型的困惑度怎么可能介于 0 和 1 之间？

Question

在 Tensorflow 中，我得到的输出是 0.602129 或 0.663941。看起来更接近 0 的值意味着更好的模型，但似乎困惑度应该被计算为 2^loss，这意味着损失是负数。这没有任何意义。

Answer 1

这对我来说没有多大意义。困惑度计算为2^entropy。熵是从 0 到 1。所以你的结果 < 1 没有意义。

我建议您看一下您的模型如何计算困惑度，因为我怀疑可能存在错误。