0

我正在并行化 spark 中的查询列表,并且我的 RDD 被映射到对象集合中,其中对象类型会根据每个查询的数据源属性而不同。我有一个 String -> 函数的映射,其中每个函数都为我提供了要保存到 cassandra 中的对象集合。例如:

val processingMethods: Map[String, (String) => Seq[Any]] = Map("trends" -> processTrendsResponse, "yahoo" -> processYahooResponse)

其中 processTrendsResponse 被定义为返回 Seq[Trends] 和 processYahooResponse 返回 Seq[Yahoo] 的函数,其中 Trends 和 Yahoo 定义被定义为案例类:

case class Trends(entity: String, time : Long, value: Long)
case class Yahoo(entity: String, time: Long, value: Long)

为了适应 Trends 和 Yahoo 类型,processingMethods Map 被定义为 Map[String, (String) => Seq[Any]]。但是当我在 spark 中执行 saveToCassandra 操作时,我遇到了一个例外 -

scala.ScalaReflectionException: <none> is not a term

提前致谢

4

0 回答 0