4

我有一个包含一些分类字符串列的数据集，我想用双精度类型表示它们。我使用 StringIndexer 进行此转换并且它有效，但是当我在另一个具有 NULL 值的数据集中尝试它时，它给出了java.lang.NullPointerException错误并且不起作用。

为了更好地理解这里是我的代码：

for(col <- cols){
    out_name = col ++ "_"
    var indexer = new StringIndexer().setInputCol(col).setOutputCol(out_name)
    var indexed = indexer.fit(df).transform(df)
    df = (indexed.withColumn(col, indexed(out_name))).drop(out_name)
}

那么如何使用 StringIndexer 解决这个 NULL 数据问题呢？

或者有没有更好的解决方案将具有 NULL 值的字符串类型的分类数据转换为双精度值？

4

1 回答 1

7

火花 >= 2.2

由于 Spark 2.2NULL值可以使用标准处理：handleInvalid Param

import org.apache.spark.ml.feature.StringIndexer

val df = Seq((0, "foo"), (1, "bar"), (2, null)).toDF("id", "label")
val indexer = new StringIndexer().setInputCol("label")

默认情况下 ( error) 它会抛出一个异常：

indexer.fit(df).transform(df).show

org.apache.spark.SparkException: Failed to execute user defined function($anonfun$9: (string) => double)
  at org.apache.spark.sql.catalyst.expressions.ScalaUDF.eval(ScalaUDF.scala:1066)
...
Caused by: org.apache.spark.SparkException: StringIndexer encountered NULL value. To handle or skip NULLS, try setting StringIndexer.handleInvalid.
  at org.apache.spark.ml.feature.StringIndexerModel$$anonfun$9.apply(StringIndexer.scala:251)
...

但配置为skip

indexer.setHandleInvalid("skip").fit(df).transform(df).show

+---+-----+---------------------------+
| id|label|strIdx_46a78166054c__output|
+---+-----+---------------------------+
|  0|    a|                        0.0|
|  1|    b|                        1.0|
+---+-----+---------------------------+

或者keep

indexer.setHandleInvalid("keep").fit(df).transform(df).show

+---+-----+---------------------------+
| id|label|strIdx_46a78166054c__output|
+---+-----+---------------------------+
|  0|    a|                        0.0|
|  1|    b|                        1.0|
|  3| null|                        2.0|
+---+-----+---------------------------+

火花 < 2.2

至于现在（Spark 1.6.1）这个问题还没有解决，但是有一个打开的 JIRA（SPARK-11569）。不幸的是，要找到可接受的行为并不容易。SQL NULL 代表一个缺失/未知的值，因此任何索引都是毫无意义的。

可能你能做的最好的事情是使用NA动作并且要么丢弃：

df.na.drop("column_to_be_indexed" :: Nil)

或填写：

df2.na.fill("__HEREBE_DRAGONS__", "column_to_be_indexed" :: Nil)

在使用索引器之前。

于 2016-03-20T12:08:26.017 回答