scala - 更改 Spark GraphFrame 中的字符串列

Question

我在 spark 2.0 和 scala 中使用 GraphFrame。

我需要从字符串类型的列中删除双引号（在许多列中）。我正在尝试使用 UDF 这样做，如下所示：

import org.apache.spark.sql.functions.udf

val removeDoubleQuotes = udf( (x:Any) =>
    x match{
      case s:String => s.replace("\"","")
      case other => other
    }
  )

由于 GraphFrame 不支持 Any 类型，因此出现以下错误。

java.lang.UnsupportedOperationException：不支持 Any 类型的架构

什么是解决方法？

Answer 1

我认为您没有带有类型的列，Any并且您不能从udf. 您需要从udf.

如果您的列是字符串，那么您可以创建udf为

import org.apache.spark.sql.functions.udf

val removeDoubleQuotes = udf( (x:String) => s.replace("\"",""))