scala - 映射减少以在 Cassandra 中执行分组和求和，带有火花和作业服务器

Question

我正在创建一个连接到 cassandra 的 spark 作业服务器。获得记录后，我想执行一个简单的分组并对其求和。我能够检索数据，但无法打印输出。我已经在 google 上尝试了几个小时，并且也在 cassandra google 群组中发帖。我当前的代码如下，我在收集时遇到错误。

 override def runJob(sc: SparkContext, config: Config): Any = {
//sc.cassandraTable("store", "transaction").select("terminalid","transdate","storeid","amountpaid").toArray().foreach (println)
// Printing of each record is successful
val rdd = sc.cassandraTable("POSDATA", "transaction").select("terminalid","transdate","storeid","amountpaid")
val map1 = rdd.map ( x => (x.getInt(0), x.getInt(1),x.getDate(2))->x.getDouble(3) ).reduceByKey((x,y)=>x+y)
println(map1)
// output is ShuffledRDD[3] at reduceByKey at Daily.scala:34
map1.collect
//map1.ccollectAsMap().map(println(_))
//Throwing error java.lang.ClassNotFoundException: transaction.Daily$$anonfun$2

}

Answer 1

Spark 对 rdd 进行惰性求值。所以尝试一些动作

   map1.take(10).foreach(println)

Answer 2

你的 map1 是一个 RDD。您可以尝试以下方法：

map1.foreach(r => println(r))