information-theory - 理解信息内容的概念

Question

我不学习计算机科学，但我对理解信息内容的概念很感兴趣。

我看到了这两个例句：

a) On July 5th, it was over 100°F
b) On July 5th, it was 98°F

它说句子 b) 具有更高的信息含量，因为对于句子 a) 只有小于/大于的可能性，对于句子 b) 是无限多的可能性。

我同意 b) 具有更高的信息含量，但我不明白解释。

我会说 b) 具有更高的信息含量，因为它可以准确地告诉您当时的温度。

但我想我的直觉理解是不正确的。如果一条消息没有解释的余地​​，我会说它具有很高的信息含量。

a) Tomorrow, someone will visit me.
b) Tomorrow, my aunt will visit me.

我会自发地说，b) 信息量更大，因为它准确地告诉你谁来拜访。这是正确的吗？

根据我的非科学理解，高信息量会很好，因为它会让你毫无疑问。但我想在信息论中，高信息量是不好的，因为这意味着信息需要大量比特进行编码，而信息并不被视为好的东西，而只是需要传输的东西。这是一个很好的表达方式吗？

Answer 1

您的直觉是正确的：您平均需要问的附加二进制问题的数量以确定细节本质上是信息内容。

然而，除非你有一个目标，否则信息论没有内在的好坏之分。

如果您的目标是压缩信号，则信息论说可实现的限制由信息内容给出。所以从这个意义上说，低信息含量的信号更容易压缩（如果你正在寻找这可能会很好。）

对于通信通道，您希望最大限度地利用通道容量。如果您没有充分利用频道，则信息内容不会达到应有的水平。

对于纠错，您希望具有具有相同信息内容但更大位表示的冗余。每个符号的最小信息内容意味着没有纠错，所以这很糟糕。