machine-learning - 通过拉普拉斯平滑获得负信息增益

Question

如果也使用拉普拉斯平滑，是否可以获得负信息增益？

我们知道：

IG = H(Y) - H(Y|X)

这里，H 是熵函数，IG 是信息增益。

还：

H(Y) = -Σ _y P(Y=y).log ₂ (P(Y=y))

H(Y|X) = Σ _x P(X=x).H(Y|X=x)

H(Y|X=x) = -Σ _y P(Y=y|X=x).log ₂ (P(Y=y|X=x))

例如，假设 P(Y=y|X=x) = n _y|x /n _x。但有可能 n _x = 0 和 n _y|x = 0。所以，我进行拉普拉斯平滑并定义 P(Y=y|X=x) = (n _y|x +1)/(n _x +| X|)。这里，|X| 表示 X 可以取的可能值的数量（如果选择 X 作为属性，则可能的拆分数量）。是否有可能由于拉普拉斯平滑，我得到了负面信息增益？