我无法提供镶木地板文件。
我有字符串的“family_id”和日期类型的“lastStagedTs”的数据框。即格式为 2018-11-30。
我正在尝试过滤如下所示的镶木地板文件,即选择大于 2018-11-23 的数据
val lastRun:String = "2018-11-23"
val parquetDf = sparkSession.read.format("parquet")
.load(parquetFile)
.select("family_id", "lastStagedTs")
.where($"lastStagedTs" > lastRun)
当我在代码行上方运行时,出现以下错误:
unsafe symbol Unstable (child of <none>) in runtime reflection universe
at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:205)
at scala.reflect.internal.Symbols$TypeSymbol.<init>(Symbols.scala:3030)