10

信息论在存在编码和解码的地方发挥作用。例如：压缩（多媒体）、密码学。

在信息论中，我们遇到诸如“熵”、“自我信息”、“互信息”之类的术语，整个主题都基于这些术语。这听起来不过是抽象的。坦率地说，它们没有任何意义。

是否有任何书籍/材料/解释（如果可以）以实用的方式解释这些事情？

编辑：

约翰·罗宾逊·皮尔斯 (John Robinson Pierce )的《信息论导论：符号、信号和噪声》这本书以我想要的方式（实际上）解释它。它太好了。我开始阅读它。

4

7 回答 7

7

Shanon 的原始论文“通信的数学理论”是研究该理论的一个非常重要的资源。没有人应该错过它。

通过阅读它，您将了解香农是如何得出这个理论的，该理论应该可以消除大部分疑问。

研究霍夫曼压缩算法的工作原理也将非常有帮助。

编辑：

信息论导论

约翰·R·皮尔斯

根据亚马逊评论似乎不错（我没有尝试过）。

[通过谷歌搜索“信息论外行”]

于 2010-02-21T17:01:56.733 回答
5

我对“信息论”的看法是，它本质上只是应用数学/统计学，但因为它被应用于通信/信号，所以被称为“信息论”。

开始理解这些概念的最好方法是给自己设定一个真正的任务。例如，将您最喜欢的博客的几页保存为文本文件，然后尝试减小文件的大小，同时确保您仍然可以完全重建文件（即无损压缩）。例如，您将开始替换 和 的所有实例，例如用 1....

我总是认为边做边学是最好的方法

于 2010-02-21T17:26:36.957 回答
1

我本来打算将费曼推荐用于流行科学，但经过反思，我认为这也可能是放松认真研究的好选择。如果没有数学，你就无法真正了解这些东西，但费曼是如此令人回味，以至于他在不惊吓马匹的情况下将数学偷偷带入。

费曼计算讲座 http://ecx.images-amazon.com/images/I/51BKJV58A9L._SL500_AA240_.jpg

涵盖的内容不仅仅是信息论，而是好东西，读起来很愉快。（此外，我有义务参加物理队。哇！哇！Rhee！）

于 2010-02-21T17:22:23.923 回答
1

我记得，我认为，个人计算机世界中的文章介绍了用于识别硬币的 ID3 版本，尽管它使用了对数公式的启发式替代方案。我认为它最小化了平方和而不是最大化熵——但那是很久以前的事了。（我认为）Byte 中有另一篇文章使用对数公式获取信息（不是熵）来处理类似的事情。这样的事情给了我一个让理论更容易处理的句柄。

编辑-“非熵”我的意思是我认为它使用了信息值的加权平均值，但没有使用“熵”这个名称。

我认为从决策表构建简单的决策树是理解概率和信息之间关系的一种非常好的方法。它使从概率到信息的联系更加直观，并提供了加权平均的例子来说明平衡概率的熵最大化效应。非常好的一天一课。

还有一点很好的是，您可以用 Huffman 解码树（毕竟，“我在解码哪个令牌？”决策树）替换该决策树，并建立与编码的链接。

顺便说一句 - 看看这个链接......

Mackay 有一本可免费下载的教科书（并且有印刷版），虽然我还没有全部读完，但我读过的部分似乎非常好。贝叶斯对“解释掉”的解释，特别是从第 293 页开始，牢记在心。

CiteSeerX 是信息论论文（除其他外）非常有用的资源。两篇有趣的论文是...

尽管 CN2 可能不是第一天的材料。

于 2010-02-21T18:23:52.573 回答
1

尽管这些概念可能是抽象的，但它们最近在机器学习/人工智能中得到了很好的应用。

这可能是对这些理论概念的实际需求的良好动机。总之，您想估计您的模型（例如 LSTM、CNN）在逼近目标输出方面的表现（例如使用交叉熵或信息论中的 Kullback-Leibler Divergence）。（检查 信息瓶颈和深度学习和信息瓶颈原理，了解通过信息论解释深度学习的观点）

此外，如果不对信道容量和属性进行一些分析，您将无法构建有用的通信或网络系统。

从本质上讲，它可能看起来很理论，但它是当前通信时代的核心。

为了更详细地理解我的意思，我邀请您观看这个 ISIT 讲座：David TSe 教授的信息论精神。

还可以查看 Claude Channon 自己的论文Bandwagon，它解释了信息论何时可能有用，何时不适合使用。

本文可帮助您入门，有关详细信息，请阅读Elements of Information Theory。

于 2017-12-15T13:18:54.680 回答
0

我可以推荐Glynn Winskel的这本书。它在我的大学用于信息论课程。它从逻辑理论开始，然后定义了一种简单的命令式语言，称为 IMP，并且遵循了许多关于语言中形式语义的概念。

编程语言的形式语义

http://mitpress.mit.edu/books/formal-semantics-programming-languages

于 2014-12-12T10:44:52.900 回答
0

信息论在机器学习和数据挖掘等领域有着非常有效的应用。特别是数据可视化、变量选择、数据转换和预测、信息论标准是最流行的方法。

参见例如

http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf 或 http://www.mdpi.com/1424-8220/11/6/5695

信息论使我们能够以正式的方式接近最优数据压缩，例如根据后验分布和马尔可夫毯：

http://www.mdpi.com/1099-4300/13/7/1403

它允许我们检索变量选择中错误概率的上限和下限：

http://www.mdpi.com/1099-4300/12/10/2144

与统计相比，使用信息论的优点之一是不一定需要设置概率分布。人们可以计算信息、冗余、熵、传递熵，而无需尝试估计概率分布。没有信息丢失的变量消除是根据条件后验概率的保留来定义的，使用信息论可以找到类似的公式......而不需要计算概率密度。计算是根据变量之间的互信息进行的，文献为这些提供了许多有效的估计量和低维近似值。参见： http ://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.87.825&rep=rep1&type=pdf http://www.mdpi。

于 2014-01-07T15:58:47.077 回答