2

我正在尝试执行 Spark 编程指南中提供的示例。 https://spark.apache.org/docs/1.1.0/sql-programming-guide.html

但我面临编译错误。（我是 Scala 新手）

下面是我的代码：

import org.apache.spark.{SparkContext,SparkConf}
import org.apache.spark.sql._
import org.apache.spark.sql

object Temp {
    def main(args: Array[String]) {
        val sparkConf = new SparkConf().setMaster("local").setAppName("SPARK SQL example")
        val sc= new SparkContext(sparkConf)
        val sqlContext = new org.apache.spark.sql.SQLContext(sc)
        import sqlContext.createSchemaRDD
        case class Person(name: String, age: Int)
        val people = sc.textFile("examples/src/main/resources/people.txt").map(_.split(",")).map(p => Person(p(0), p(1).trim.toInt))
        people.registerTempTable("people")
        val teenagers = sqlContext.sql("SELECT name FROM people WHERE age >= 13 AND age <= 19")
        teenagers.map(t => "Name: " + t(0)).collect().foreach(println)
    }
}

我正面临着编译错误No TypeTag available for Person。people.registerTempTable("people")

如何解决此错误？

4

1 回答 1

4

它失败了，因为 Person 类是在函数内部定义的，因此 Scala 编译器不会为该类创建 TypeTag。正如 Paul 建议的那样，您可以将其从函数中移到顶层。

我要补充一点，有一个 JIRA 可以放宽这个限制：https ://issues.apache.org/jira/browse/SPARK-4842

于 2014-12-16T02:43:11.450 回答