machine-learning - C4.5 决策树：分类概率分布？

Question

我正在使用 Weka 的 J48 (C4.5) 决策树分类器。一般来说，对于决策树，一旦碰到叶子就可以确定分类概率分布吗？我知道朴素贝叶斯，每次分类尝试都会产生一个分类分布。

如果可以使用决策树，那么 Weka J48 树是否提供此功能？我也可以尝试实现自己的树。

Answer 1

由于每个叶子都有一个实际上是离散分布的分类决策，它所指示的类别为 100%，所有其他类别为 0。如果需要，您也可以使用训练集为所有内部节点生成分布。

如果您在学习树后进行修剪，您可以通过树重新运行训练集，并使用每个实际类落在该叶子中的频率标记每个叶子，这将是您的分布。

编辑：例如，一旦你得到你的树。您可以为每个节点关联一个直方图，其中每个类都有一个 bin。然后对训练集进行分类，如果遍历树中的一个节点，则在该类的相应 bin 中添加一个。在完成完整的训练集之后，只需对每个直方图进行归一化以添加 1。然后，如果您觉得叶子太接近 100%，您可以通过使用每个直方图的熵来确定要进一步修剪的内容。