machine-learning - 在决策树中计算熵（机器学习）

Question

我确实知道计算熵的公式：

H(Y) = - ∑ (p(yj) * log2(p(yj)))

换句话说，选择一个属性并为每个值检查目标属性值...所以 p(yj) 是节点 N 处模式在类别 yj 中的分数 - 目标值中的一个为真，一个为假。

但是我有一个数据集，其中目标属性是价格，因此是范围。如何计算这种数据集的熵？

（参考：http ://decisiontrees.net/decision-trees-tutorial/tutorial-5-exercise-2/ ）

score 7 · Accepted Answer

您首先需要以某种方式离散化数据集，例如将其以数字方式分类到多个桶中。存在许多离散化方法，有些是有监督的（即考虑目标函数的值），有些不是。本文概述了以相当笼统的术语使用的各种技术。对于更多细节，在 Weka 等机器学习库中有大量离散化算法。

连续分布的熵称为微分熵，也可以通过假设您的数据以某种方式分布（例如正态分布）来估计，然后以正态方式估计底层分布，并使用它来计算熵值。

score 1 · Accepted Answer

同意 Vic Smith 的观点，离散化通常是一个不错的方法。根据我的经验，大多数看似连续的数据实际上是“块状”的，并且几乎没有丢失。

但是，如果由于其他原因不希望离散化，则还为连续分布定义熵（请参阅有关您最喜欢的分布的维基百科，例如 http://en.wikipedia.org/wiki/Normal_distribution]）。

一种方法是假设一种分布形式，例如正态分布、对数正态分布等，并根据估计的参数计算熵。我不认为玻尔兹曼熵（连续）和香农熵（离散）的尺度在相同的尺度上，所以不会混合它们。

2 回答 2