0

当我运行 catboost 回归器时，我的训练和测试图在大约 1000 次迭代时会出现奇怪的扭结。该图附在下面，我的回归器设置如下：

cat_model=CatBoostRegressor(iterations=2500, depth=4, learning_rate=0.01, loss_function='RMSE', thread_count=-1, use_best_model = True, random_seed=12, random_strength=10, rsm=0.5)

我尝试了 leaf_estimation_iterations 和 bagging_temperature 的不同值，但没有取得任何成功。关于我应该尝试获得更好结果的任何建议。

模型拟合图

4

1 回答 1

0

分歧是正常的。您将始终在训练集上表现更好，因为模型过度拟合训练集，您的目标是使用验证集对其进行调节。

首先，我建议阅读偏差与方差权衡，以获得有关如何解决此问题的一般直觉。

特别是对于 catboost，您希望规范化训练过程，以便更好地概括。您可以从添加更多数据开始，并设置更高的l2_leaf_reg参数。

官方文档对模型调优有更多好的建议： https ://catboost.ai/docs/concepts/parameter-tuning.html

于 2020-05-11T08:20:10.830 回答