1

给定一个带有类型注释的简单案例类@Bar：

case class Foo(
  field: Option[String] @Bar
)

使用以下堆栈跟踪在运行时将 a 转换RDD[Foo]为 a失败：Dataset[Foo]

User class threw exception: scala.MatchError: scala.Option[String] @Bar (of class scala.reflect.internal.Types$AnnotatedType)
at org.apache.spark.sql.catalyst.ScalaReflection$$anonfun$org$apache$spark$sql$catalyst$ScalaReflection$$serializerFor$1.apply(ScalaReflection.scala:483)
at ...

此问题的票已开放 ( SPARK-27625 )。但是，有解决方法吗？

使用火花 2.3.2

4

1 回答 1

0

无框架库支持类型注释。

于 2019-09-22T15:18:45.190 回答