matlab - Ensemble classifier with wrapper method

Question

I'm trying to combine multiple classifiers (ANN, SVM, kNN, ... etc.) using ensemble learning (viting, stacking ...etc.) .

In order to make a classifier, I'm using more than 20 types of explanatory variables. However, each classifier has the best subset of explanatory variables. Thus, seeking the best combination of explanatory variables for each classifier in wrapper method, I would like to combine multiple classifiers (ANN, SVM, kNN, ... etc.) using ensemble learning (viting, stacking ...etc.) .

By using the meta-learning with weka, I should be able to use the ensemble itself. But I can not obtain the best combination of explanatory variables since wrapper method summarizes the prediction of each classifier.

I am not stick to weka if it can be solved easier in maybe matlab or R.

Answer 1

使用集成方法，使用非常简单的分类器可以获得最佳结果。另一方面，它可以非常快，以弥补合奏成本。

一开始这似乎违反直觉：人们会期望更好的输入分类器产生更好的输出。但是，这不起作用有两个原因。

首先，使用简单的分类器，您通常可以对它们进行更多调整，以获得一组多样化的输入分类器。全维方法 + 特征 bagging 为您提供了多样化的分类器。内部进行特征选择或减少的分类器使得特征装袋在很大程度上无法获得多样性。其次，像 SVM 这样的复杂方法更有可能优化/收敛到相同的结果。毕竟，复杂的方法应该经过一个更大的搜索空间，并在这个搜索空间中找到最好的结果。但这也意味着，您更有可能再次获得相同的结果。最后但并非最不重要的一点是，当使用非常原始的分类器时，错误表现得更好，并且更有可能在集成组合中变得更均匀。