2

python 中的 Scipy 提供了以下函数，这些函数似乎可以计算相同的信息论度量，即 Kullback-Leibler 散度，也称为相对熵：

  • scipy.stats.entropy, 如果qk=None
  • scipy.special.rel_entr
  • scipy.special.kl_div

为什么三个是一样的？有人可以解释它们之间的区别吗？

4

1 回答 1

3

计算离散概率向量之间的 KL 散度的默认选项是scipy.stats.entropy。

相反，两者scipy.special.rel_entr和scipy.special.kl_div都是“逐元素函数”，可以与通常的数组操作结合使用，并且必须在它们产生聚合相对熵值之前求和。

虽然两者都产生相同的总和（当与适当的概率向量一起使用时，其元素总和为 1），第二个变体 ( scipy.special.kl_div) 在元素方面是不同的，因为它添加了 -x +y 项，即

(x log(x/y)) - x + y

在总和中抵消。

例如

from numpy import array
from scipy.stats import entropy
from scipy.special import rel_entr, kl_div

p = array([1/2, 1/2])
q = array([1/10, 9/10])

print(entropy(p, q))
print(rel_entr(p, q), sum(rel_entr(p, q)))
print(kl_div(p, q), sum(kl_div(p, q)))

产量

0.5108256237659907
[ 0.80471896 -0.29389333] 0.5108256237659907
[0.40471896 0.10610667] 0.5108256237659906

我不熟悉 element-wise extra-terms 背后的基本原理，scipy.special.kl_div但文档指向可能解释更多的参考。

请参阅： https ://docs.scipy.org/doc/scipy/reference/generated/scipy.special.kl_div.html#scipy.special.kl_div

于 2020-08-12T05:36:08.653 回答