我使用 spark 作业服务器创建了一个 spark SQL 作业,并按照以下示例使用 HiveContext: https ://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/ HiveTestJob.scala
我能够启动服务器,但是当我运行我的应用程序(我的扩展 SparkSqlJob 的 Scala 类)时,我得到以下响应:
{
"status": "ERROR",
"result": "Invalid job type for this context"
}
任何人都可以建议我出了什么问题或提供为 SparkSQL 设置作业服务器的详细过程吗?
代码如下:
import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}
object newHiveRest extends SparkHiveJob {
def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid
def runJob(hive: HiveContext, config: Config): Any = {
hive.sql(s"use default")
val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")
maxRdd.count()
}
}