无法处理 apache spark 中日期列的空值。我尝试将 null 替换为空字符串以及 null 值。
我得到的错误是
java.text.ParseException: Unparseable date: ""
我正在使用 csv-spark，databricks:spark-redshift_2.11 2.0.1
代码
var originalDataFrame = sqlContext.load(
"com.databricks.spark.csv",
schema = sourceSchema,
Map("path" -> filePath,
"header" -> "false",
"codec"->"org.apache.hadoop.io.compress.GzipCodec",
"delimiter"->"|",
"dateFormat" -> dateFormat,
"nullValue"->""
))
提前致谢。