math - 信息增益与最小化熵

Question

在什么情况下最大化信息增益不等于最小化熵？更广泛的问题是为什么我们需要信息增益的概念？仅使用熵来决定决策树的下一个最优属性是否还不够？

Answer 1

最大化 IG（也称为互信息）倾向于提供与最小化熵相同的结果。

基本上，如果你最小化熵，你就会迫使信息增益最大化。