我有一个 Spark 数据框,其中一列是整数数组。该列可以为空,因为它来自左外连接。我想将所有空值转换为一个空数组,这样我以后就不必处理空值了。
我以为我可以这样做:
val myCol = df("myCol")
df.withColumn( "myCol", when(myCol.isNull, Array[Int]()).otherwise(myCol) )
但是,这会导致以下异常:
java.lang.RuntimeException: Unsupported literal type class [I [I@5ed25612
at org.apache.spark.sql.catalyst.expressions.Literal$.apply(literals.scala:49)
at org.apache.spark.sql.functions$.lit(functions.scala:89)
at org.apache.spark.sql.functions$.when(functions.scala:778)
when
显然,该函数不支持数组类型。还有其他简单的方法来转换空值吗?
如果它是相关的,这里是这个列的架构:
|-- myCol: array (nullable = true)
| |-- element: integer (containsNull = false)