7

我正在尝试将使用 Python 模块 scikit-learn 的单变量特征选择方法应用于 svmlight 格式的回归（即连续值响应值）数据集。

我正在使用 scikit-learn 0.11 版。

我尝试了两种方法——第一种方法失败了，第二种方法适用于我的玩具数据集，但我相信对于真实数据集会给出毫无意义的结果。

我想获得关于合适的单变量特征选择方法的建议，我可以应用它来为回归数据集选择前 N 个特征。我要么想（a）弄清楚如何使 f_regression 函数工作，要么（b）听取其他建议。

上面提到的两种方法：

  1. 我尝试使用 sklearn.feature_selection.f_regression(X,Y)。

这失败并显示以下错误消息：“TypeError：copy() 只需要 1 个参数（给定 2 个）”

  1. 我尝试使用 chi2(X,Y)。这“有效”，但我怀疑这是因为我的玩具数据集中的两个响应值 0.1 和 1.8 被视为类标签？据推测，对于真实数据集，这将不会产生有意义的卡方统计量，其中存在大量可能的响应值，并且每个单元格中的数量[具有特定响应值和正在测试的属性的值]将是低的？

请找到我粘贴到此消息末尾的玩具数据集。

下面的代码片段应该给出我上面描述的结果。

from sklearn.datasets import load_svmlight_file

X_train_data, Y_train_data = load_svmlight_file(svmlight_format_train_file) #i.e. change this to the name of my toy dataset file

from sklearn.feature_selection import SelectKBest
featureSelector = SelectKBest(score_func="one of the two functions I refer to above",k=2) #sorry, I hope this message is clear
featureSelector.fit(X_train_data,Y_train_data)
print [1+zero_based_index for zero_based_index in list(featureSelector.get_support(indices=True))] #This should print the indices of the top 2 features

提前致谢。

理查德

我设计的 svmlight 文件的内容 - 为了清楚起见，插入了额外的空行：

1.8 1:1.000000 2:1.000000 4:1.000000 6:1.000000#mA

1.8 1:1.000000 2:1.000000#mB

0.1 5:1.000000#mC

1.8 1:1.000000 2:1.000000#mD

0.1 3:1.000000 4:1.000000#mE

0.1 3:1.000000#mF

1.8 2:1.000000 4:1.000000 5:1.000000 6:1.000000#mG

1.8 2:1.000000#mH

4

2 回答 2

5

正如 larsmans 所指出的，chi2 不能用于回归数据的特征选择。

更新到 scikit-learn 版本 0.13 后，以下代码为上述玩具数据集选择了前两个特征（根据 f_regression 测试）。

def f_regression(X,Y):
   import sklearn
   return sklearn.feature_selection.f_regression(X,Y,center=False) #center=True (the default) would not work ("ValueError: center=True only allowed for dense data") but should presumably work in general

from sklearn.datasets import load_svmlight_file

X_train_data, Y_train_data = load_svmlight_file(svmlight_format_train_file) #i.e. change this to  the name of my toy dataset file

from sklearn.feature_selection import SelectKBest
featureSelector = SelectKBest(score_func=f_regression,k=2)
featureSelector.fit(X_train_data,Y_train_data)
print [1+zero_based_index for zero_based_index in list(featureSelector.get_support(indices=True))]
于 2013-03-24T19:02:02.813 回答
1

您也可以尝试通过 L1/Lasso 正则化进行特征选择。专门为此设计的类RandomizedLasso将在数据的多个子样本上训练 LassoRegression，并选择这些模型最常选择的特征。您也可以只使用Lasso,LassoLars或SGDClassifier做同样的事情，而不需要重新采样，但速度更快。

于 2014-05-12T03:33:13.230 回答