machine-learning - 多元决策树学习器

Question

确实存在许多单变量决策树学习器实现（C4.5 等），但实际上有人知道多变量决策树学习器算法吗？

Answer 1

Bennett 和 Blue 的A Support Vector Machine Approach to Decision Trees通过对树中的每个决策使用嵌入式 SVM 来进行多元分割。

类似地，在通过离散支持向量机进行多类别分类 (2009)中，Orsenigo 和 Vercellis 将离散支持向量机 (DSVM) 的多类别变体嵌入到决策树节点中。

Answer 2

决策树的 CART 算法可以制成多变量。CART 是一种二进制拆分算法，与 C4.5 不同，C4.5 为离散值的每个唯一值创建一个节点。他们也对 MARS 使用与缺失值相同的算法。

要创建多变量树，您需要计算每个节点的最佳拆分，但不是丢弃所有不是最好的拆分，而是取其中的一部分（可能是全部），然后通过每个潜在的评估所有数据的属性在按顺序加权的节点处拆分。因此，第一个分割（导致最大增益）的权重为 1。然后，下一个最高增益分割的权重小于 1.0，依此类推。权重随着拆分的增益减少而减少。然后将该数字与左节点内节点的相同计算进行比较，如果它高于该数字，则左转。否则向右走。这是相当粗略的描述，但这是决策树的多变量拆分。

Answer 3

是的，有一些，例如 OC1，但它们不如进行单变量拆分的常见。添加多变量拆分极大地扩展了搜索空间。作为一种妥协，我见过一些逻辑学习器，它们简单地计算线性判别函数并将它们添加到候选变量列表中。