data-science - 使用决策树从现有特征创建新特征

Question

是否可以使用决策树从两个或两个以上现有特征中创建一个新特征？

如果是这样，它如何产生具有良好信息价值的特征，可以更好地帮助模型？

Answer 1

决策树本身不会创建第三个变量。您将自己创建第三个变量，该任务通常称为特征工程。有无数甚至无限的可能性，例如，

x3 = x1 + x2

x3 = x1 / x2（只要 x2 不能为零）

x3 = x1 * exp(x2)

...

当您探索这个奇妙的特征工程世界时，您可能会发现某些类型的组合在决策树上的效果比其他组合更好……但总的来说，没有正确的答案；只是实验。

只是一个帮助您入门的提示 - 决策树自然可以很好地处理共线性，因为一旦在 x 上拆分 1 个节点，与 x 共线的变量在拆分中突然变得不那么有用了。因此，与 x1 或 x2 直接高度相关的转换可能没有多大帮助。