1

我开始使用 Spark 数据集,当我在 Spark 1.6.1 中执行 groupby 时遇到此异常

case class RecordIdDate(recordId: String, date: String)
val ds = sc.parallelize(List(RecordIdDate("hello","1"), RecordIdDate("bye","2"))).toDS
ds.groupBy(_.recordId).mapGroups{case (id, it) => it.toSeq }

这是例外

scala.reflect.internal.MissingRequirementError:找不到对象 $line19.$read。在 scala.reflect.internal.MissingRequirementError$.signal(MissingRequirementError.scala:16) 在 scala.reflect.internal.MissingRequirementError$.notFound(MissingRequirementError.scala:17) 在 scala.reflect.internal.Mirrors$RootsBase.ensureModuleSymbol(Mirrors .scala:126) 在 scala.reflect.internal.Mirrors$RootsBase.staticModule(Mirrors.scala:161) 在 scala.reflect.internal.Mirrors$RootsBase.staticModule(Mirrors.scala:21) 在 $iwC$$iwC$ $iwC$$iwC$$iwC$$iwC$$iwC$$iwC$$typecreator2$1.apply(:32) at scala.reflect.api.TypeTags$WeakTypeTagImpl.tpe$lzycompute(TypeTags.scala:231) at scala .reflect.api.TypeTags$WeakTypeTagImpl.tpe(TypeTags.scala:231) at org.apache.spark.sql.SQLImplicits$$typecreator10$1.apply(SQLImplicits.scala:

任何人都可以帮忙吗?

4

0 回答 0