python - 用 optuna 定义回归问题的超参数搜索空间

Question

本教程展示了如何使用 sklearn 解决回归问题并使用 Optuna 优化 LightGBM 模型的超参数。我立即注意到的一件事是，他们在训练回归模型之前没有对任何参数进行归一化。在这个问题中，有什么理由不需要规范化吗？

我还尝试将参数（节点编号、层编号、激活函数、学习率）传递给objective函数，如2. Use "trial" module to define hyperparameters dynamically!. 我正在阅读文档，我对如何将超参数搜索空间合并到objective函数中感到困惑。

Answer 1

第一个回归算法（普通最小二乘法）是在没有考虑归一化的情况下开发的。事实上，大多数回归问题不需要任何形式的归一化，因为它会使模型更难解释。只有当您的算法对异常值非常敏感时，您才应该规范化您的数据。

也就是说，LightGBM 是一种基于树的梯度提升算法。作为基于树的，每个节点的截止点对单调变换不敏感。

换句话说，如果f(·)是一个单调函数，x是降低代价函数最多的点，那么f(x)也是降低代价函数最多的点。

通过对自变量进行标准化，您可以从所有观察值中减去平均值并除以n。因此，您不会更改特征观察变量的顺序。