classification - 决策树中的特征重要性、离散化和标准

Question

我正在使用数字特征，我想在 sklearn 中使用决策树分类器来查找特征重要性。

因此，如果我选择熵标准进行拆分，则信息增益用作拆分数据的杂质度量。我猜这相当于 Fayyad & Irani 二进制离散化。

最后，分类器返回一个称为“特征重要性”的属性。

特征重要性。越高，特征越重要。特征的重要性被计算为该特征带来的标准的（归一化）总减少。它也被称为基尼系数 [R195]。

我的问题是，即使我使用信息增益来找到最佳分割，“特征重要性”是否会返回用熵标准找到的分割中测量的基尼重要性值？

Answer 1

是的！有一种迭代方法来计算不同分裂点的基尼重要性，一旦达到终止标准（最小描述长度），就会返回最佳分裂点。您可以在此处通过玩具示例找到更多信息：http: //clear-lines.com/blog/post/Discretizing-a-continuous-variable-using-Entropy.aspx