information-theory - 二进制擦除通道中的互信息

Question

想象一下Wikipedia上描述的二进制擦除通道。

描述互信息的一个方程如下：

I(x;y) 
 = H(x) - H(x|y) 
 = H(x) - p(y=0) • 0 - p(y=?) • H(x) -p(y=1) • 0

为什么是“ p(y=?) • H(x)" and not "p(y=?) • H(x|y=?)”？

Answer 1

可以用贝叶斯定理证明。

这个频道：

x           y
     1-f
0 --------> 0
 \
  \    f
   +------> ?
  /
 /   1-f
1---------> 1  

设输入分布为P(x) = {p(x=0)=g; p(x=1)=1-g}
则：

p(x=0/y=?) = p(y=?/x=0) * p(x=0) / p(y=?)
p(x=0/y=?) = (f * g) / (f * g - f * (1 - g)) = g;
p(x=1/y=?) = p(y=?/x=1) * p(x=1) / p(y=?)
p(x=1/y=?) = (f * (1 - g)) / (f * g - f * (1 - g)) = 1 - g;

结果：

p(x=0/y=?) = p(x=0)
p(x=1/y=?) = p(x=1)

从熵和条件熵的定义：

H(X) = p(x=0) * log(1 / p(x=0)) + p(x=1) * log(1 / p(x=1))
H(X/y=?) = p(x=0/y=?) * log(1 / p(x=0/y=?)) + p(x=1/y=?) * log(1 / p(x=1/y=?))

所以：

H(X) = H(X/y=?)