2

我正在研究 Scala。我有一个大问题，ChiSqSelector 似乎成功地减少了维度，但我无法确定哪些特征被减少了，哪些特征被保留了。我怎么知道减少了哪些功能？

[WrappedArray(a, b, c),(5,[1,2,3],[1,1,1]),(2,[0],[1])]
[WrappedArray(b, d, e),(5,[0,2,4],[1,1,2]),(2,[1],[2])]
[WrappedArray(a, c, d),(5,[0,1,3],[1,1,1]),(2,[0],[1])]

PS：当我想让测试数据与特征选择的训练数据相同时，我发现我不知道如何在 scala 中做到这一点。

4

1 回答 1

2

如果您使用MLlib版本，ChiSqSelector您可以selectedFeatures：

mllibModel: org.apache.spark.mllib.feature.ChiSqSelectorModel = ???
val features: Array[Int] = mllib.selectedFeatures

然而，当您使用测试数据时，最好使用在训练数据集上训练的选择器，并且不要为手动选择而烦恼。

val testData: RDD[org.apache.spark.mllib.linalg.Vector] = ???
mllibModel.transform(testData)

相同的规则适用于ML版本。您可以使用selectedFeatures提取索引数组：

val mlModel: org.apache.spark.ml.feature.ChiSqSelectorModel = ???
val features: Array[Int] = mlModel.selectedFeatures

但最好保留模型并重用新数据：

val testData: RDD[org.apache.spark.sql.DataFrame] = ???
mlModel.transform(testData)

如果您想要一个人类可读的功能列表，您可以在转换后分析列元数据，如在 Spark 中将列标记为分类中所示

于 2016-03-09T09:12:05.593 回答