genetic-algorithm - 如何为符号回归选择特征

Question

如何为符号回归选择特征？我有 30 个特征，我只想对符号回归使用最敏感的特征。

例如，可以使用这个数据集，它类似于我的数据集。https://scikit-learn.org/stable/modules/generated/sklearn.datasets.load_boston.html

Answer 1

30个功能并没有那么多。遗传编程应该能够自动选择最有用的那些。

当然，您不应该使用常量。使用常量可能允许将一些不重要的特征包含在最终表达式中，方法是将它们与一个非常小的常量相乘。

但是，很难完全排除常数。例如，如果你使用除法运算符，它会产生一个副作用：x/x = 1，如果你有常数 1，那么你可以得到 1+1，然后 1/(1+1) 和很快 ...

无论如何，你有一些数据可以测试吗？我维护一个实现 GP 变体（多表达式编程）的免费软件。如果您将数据发送给我，我可以运行它们，或者您自己从我的网站尝试：https ://mepx.org

更新：我在波士顿房价数据集上运行了我的程序，我从预期输出中获得了大约 4% 的误差，只有 8 个特征。附上截图。但是，我不太确定程序是否不尝试自己发现一些常量，因为解决方案太长（有 37 条指令）。

Answer 2

一种可能是首先使用随机森林来拟合数据，然后选择随机森林认为最重要的特征。