matlab - 实施互信息的问题

Question

互信息由公式定义

I(X;Y) = H(X) - H(X|Y) = H(Y) - H(Y|X) 

其中X，Y是一些列向量。在我的例子中，X是连续信号，Y是离散信号。size(X)=100 并且 Y 的离散化数量是 10 并且 Y 的字长是 5（比如）。现在，我知道首先我们必须找到联合概率，然后是条件概率，然后是 I(X, Y).鉴于此，我有以下实现问题

1. 在计算联合概率时，它们会被计算到大小（x）还是直到离散化信号Y的字长？
2. 如何获得 I 的单个数值和 I 的图
3. 如何找到通道容量

Answer 1

看看等式的最后一部分：什么是H(Y|X)？它是Y假设我们知道的熵X……但Y只是 ! 的离散化X！更具体地说，如果我们知道X，那么我们精确地知道Y，因此Y给定的熵X为零。这给你留下了

I(X;Y) = H(Y)

考虑到这一点，您是否还有任何问题需要回答？