1

我想使用 spark mllib naive bayes 来处理（训练和测试）这样的数据

男,疑酒,平日,12am-4am,75,30-39

这样我就可以测试标签男/女/未知。我想创建一个 LabeledPoint，以便可以针对 mllib 朴素贝叶斯算法运行此数据。spark站点上的示例

https://spark.apache.org/docs/1.0.0/mllib-naive-bayes.html

仅显示全为数字的数据。是否可以使用这样的字符串数据运行？我了解我的测试标签需要转换为双精度值，即男性/女性/未知 => 1.0 / 2.0 / 3.0

如果是这样，如何使用这种类型的语法将上面的 CSV 数据转换为 LabelPoint？

val parsedData = data.map { line =>
  val parts = line.split(',')
  LabeledPoint(
    parts(0).toDouble, 
    Vectors.dense(parts(1).split(' ').map(_.toDouble)))
}
4

1 回答 1

0

我现在明白我需要枚举我的数据，以便我使用 spark mllib naive bayes 来处理向量。我要处理的数据如下所示。

Male,Suspicion of Alcohol,Weekday,12am-4am,75,30-39
Male,Moving Traffic Violation,Weekday,12am-4am,0,20-24
Male,Suspicion of Alcohol,Weekend,4am-8am,12,40-49
Male,Suspicion of Alcohol,Weekday,12am-4am,0,50-59
Female,Road Traffic Collision,Weekend,12pm-4pm,0,20-24
Male,Road Traffic Collision,Weekday,12pm-4pm,0,25-29
Male,Road Traffic Collision,Weekday,8pm-12pm,0,Other
Male,Other,Weekday,8am-12pm,23,60-69
Male,Moving Traffic Violation,Weekend,12pm-4pm,26,30-39
Female,Road Traffic Collision,Weekend,4am-8am,61,16-19
Male,Moving Traffic Violation,Weekend,4pm-8pm,74,25-29
Male,Road Traffic Collision,Weekday,12am-4am,0,Other
Male,Moving Traffic Violation,Weekday,8pm-12pm,0,16-19
Male,Road Traffic Collision,Weekday,8pm-12pm,0,Other
Male,Moving Traffic Violation,Weekend,4am-8am,0,30-39

幸运的是，这是英国警方的交通违规数据，所有字段都包含一组值，即男性/女性/未知。因此，如果我为每列中的每个数据项分配数值，我最终会得到这样的数据集

0,3 0 0 75 3
0,0 0 0 0 1
0,3 1 1 12 4
0,3 0 0 0 5
1,2 1 3 0 1
0,2 0 3 0 2
0,2 0 5 0 8
0,1 0 2 23 6
0,0 1 3 26 3
1,2 1 1 61 0
0,0 1 4 74 2
0,2 0 0 0 8
0,0 0 5 0 0
0,2 0 5 0 8
0,0 1 1 0 3

我知道我可以直接在 scala 中运行朴素贝叶斯。

于 2015-02-03T02:51:47.087 回答