我对机器学习相对较新，并且正在尝试将决策树归纳纳入事物的宏伟计划中。决策树（例如，使用 C4.5 或 ID3 构建的决策树）是否被视为参数或非参数？我猜想它们可能确实是参数化的，因为实际值的决策分割点可能是从特征值的某些分布中确定的，例如均值。但是，它们不具有必须保留所有原始训练数据的非参数特征（就像使用 kNN 所做的那样）。
问问题
6602 次
2 回答
10
术语“参数”是指定义数据分布的参数。由于 C4.5 等决策树不对数据的分布做出假设，因此它们是非参数的。高斯最大似然分类 (GMLC) 是参数化的，因为它假设数据遵循多元高斯分布（类由均值和协方差表征）。关于你的最后一句话，保留训练数据（例如，基于实例的学习）并不是所有非参数分类器都通用的。例如，人工神经网络 (ANN) 被认为是非参数的，但它们不保留训练数据。
于 2012-12-12T18:37:58.250 回答
5
术语参数是指模型的参数数量与数据之间的关系。
如果参数的数量是固定的，则模型是参数化的。
如果参数的数量随着数据的增长而增长，则模型是非参数的。
决策树是非参数的，但如果你限制它的大小以进行正则化，那么参数的数量也会被限制并且可以被认为是固定的。因此，决策树并不是那么明确。
KNN 绝对是非参数的，因为参数集就是数据集：要预测新的数据点，KNN 模型需要访问训练数据点，而无需访问其他任何东西（超参数 K 除外）。
于 2019-06-01T21:02:50.583 回答