machine-learning - 成本复杂性修剪：修剪错误

Question

任何人都可以解释这两个陈述：

在成本复杂性修剪中，修剪后的树错误永远不会小于训练数据集上的原始树。

在成本复杂性修剪中，修剪后的树错误永远不会小于验证数据集上的原始树。

第一个陈述是正确的，而第二个陈述是错误的。

Answer 1

这适用于您选择的任何修剪策略，前提是构建原始树以最小化训练集中的错误。

True：修剪后的树误差永远不会小于训练数据集上的原始树。

原始树尽可能具体，通过用叶子节点替换子树，只能得到不那么具体的树。因此，训练数据中的误差可以保持不变，也可以增加，永远不会减少。

错误：修剪后的树错误永远不会小于验证数据集上的原始树。

我们假设验证集是未知的并且独立于训练数据集。因此，作为一般规则，您不能做出任何此类假设。修剪时，验证数据集上的误差可以增加、保持不变或减少。

然而，我们预计误差会减少，因为树将变得不那么特定于训练数据，因此更有可能与不同的数据集兼容。