我正在实施 C4.5,在我的计算中,我得到了(对于某些示例)信息增益的负值。我阅读了为什么我会获得负面信息增益,但我的问题似乎有所不同。我将我的计算结果放到了 excel 中,得到了与以下相同的结果:
我究竟做错了什么?
我尝试再次计算它,并且我得到负值,如下图所示: 数据集 80 的最新计算 是拆分值,所以我得到 11 <=80 和 3objects > 80
我正在实施 C4.5,在我的计算中,我得到了(对于某些示例)信息增益的负值。我阅读了为什么我会获得负面信息增益,但我的问题似乎有所不同。我将我的计算结果放到了 excel 中,得到了与以下相同的结果:
我究竟做错了什么?
我尝试再次计算它,并且我得到负值,如下图所示: 数据集 80 的最新计算 是拆分值,所以我得到 11 <=80 和 3objects > 80
您是否将熵的结果乘以-1
?
$$ H(X) = -\sum_{i=1}^n {\mathrm{P}(x_i) \log_b \mathrm{P}(x_i)} $$
呃... mathjax 有问题,去这里定义