image-processing - 在这种情况下，熵是什么意思？

Question

我正在阅读一篇图像分割论文，其中使用范式“信号分离”来解决问题，即信号（在本例中为图像）由多个信号（图像中的对象）以及噪声组成，任务是分离出信号（分割图像）。

该算法的输出是一个矩阵， $S \in R^{MxT}$ 它表示将图像分割成 M 个分量。T 是图像中的像素总数， $s_{ij}$ 是源分量（/信号/对象）i 在像素 j 处的值

在我正在阅读的论文中，作者希望选择一个 $m \in [1,M]$ 与某些平滑度和熵标准匹配的组件 m。但我无法理解在这种情况下熵是什么。

熵定义如下：

他们说''是与'' ${p_n(s_m)}_{n=1}^{256}$ 的直方图的箱相关联的概率

目标成分是肿瘤，论文中写道：“具有“几乎”恒定值的肿瘤相关成分预计具有最低的熵值。”

但是在这种情况下，低熵意味着什么？每个 bin 代表什么？低熵向量是什么样的？

score 12 · Accepted Answer

他们在谈论香农的熵。查看熵的一种方法是将其与与给定概率分布相关的事件的不确定性数量联系起来。熵可以作为“无序”的量度。随着无序程度的增加，熵增加，事件变得难以预测。

回到论文中熵的定义：

H(s_m) 是随机变量 s_m 的熵。这是结果 s_m 发生的概率。m 是所有可能的结果。概率密度 p_n 是使用灰度直方图计算的，这就是总和从 1 到 256 的原因。bin 表示可能的状态。

那么这是什么意思？在图像处理中，熵可能用于对纹理进行分类，某个纹理可能具有一定的熵，因为某些模式以近似某些方式重复自身。在本文的上下文中，低熵（H(s_m) 表示组件 m 内的低无序性、低方差。低熵的组件比高熵的组件更同质，他们将其与平滑度标准结合使用来进行分类组件。

另一种看待熵的方法是将其视为信息内容的度量。具有相对“低”熵的向量是具有相对低信息内容的向量。它可能是 [0 1 0 1 1 1 0]。具有相对“高”熵的向量是具有相对高信息含量的向量。它可能是 [0 242 124 222 149 13]。

这是一个迷人而复杂的主题，真的无法在一篇文章中总结。

score 2 · Accepted Answer

熵由 Shanon (1948) 引入，熵值越高 = 信息越详细。熵是图像信息内容的度量，被解释为信息源的平均不确定性。在图像中，熵被定义为单个像素可以适应的强度级别的相应状态。用于定量分析和评估图像细节，使用熵值是因为它可以更好地比较图像细节。

score 1 · Accepted Answer

也许，考虑图像中的熵和信息内容的另一种方法是考虑图像可以压缩多少。独立于压缩方案（运行长度编码是其中之一），您可以想象一个具有少量信息（低熵）的简单图像可以用更少的数据字节进行编码，而完全随机的图像（如白噪声）不能被压缩太多，如果有的话。

3 回答 3