当 CSV 在 Spark 中被读取为数据框时,所有列都被读取为字符串。有什么办法可以得到实际的列类型吗?
我有以下 csv 文件
Name,Department,years_of_experience,DOB
Sam,Software,5,1990-10-10
Alex,Data Analytics,3,1992-10-10
我已使用以下代码阅读了 CSV
val df = sqlContext.
read.
format("com.databricks.spark.csv").
option("header", "true").
option("inferSchema", "true").
load(sampleAdDataS3Location)
df.schema
所有列都被读取为字符串。我希望将years_of_experience列读取为int并将DOB读取为date
请注意,我已将选项inferSchema设置为true。
我正在使用最新版本(1.0.3)的 spark-csv 包
我在这里错过了什么吗?