information-theory - 信息论的好介绍，好吗？

Question

我知道维基百科和麦凯的信息论、推理和学习算法（它适合作为教科书吗？）。一本从香农熵开始，经过条件熵和互信息的教科书……有什么想法吗？如果你在你的大学学习这样的课程，使用哪本教科书？

谢谢。

Answer 1

我在EPFL学习 CS 期间使用了以下教科书。IMO，它写得很好，有很好的解释，并且涵盖了足够多的领域介绍。

信息论要素

编辑：为了进一步阅读，这里有一些我的教授推荐的其他读物。我没有读过它们（我感到羞耻），所以我不能说它们是否好。

1. RG Gallager，信息理论和可靠通信，威利，1968 年。
2. D. MacKay，信息理论、推理和学习算法，剑桥大学出版社，2008 年。（你已经提到过）
3. I. Csiszar 和 J. Korner，信息论：离散无记忆系统的编码定理，Akademiai Kiado，1997 年。
4. CE Shannon，通信的数学理论