4

我使用 spark 作业服务器创建了一个 spark SQL 作业,并按照以下示例使用 HiveContext: https ://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/ HiveTestJob.scala

我能够启动服务器,但是当我运行我的应用程序(我的扩展 SparkSqlJob 的 Scala 类)时,我得到以下响应:

{
   "status": "ERROR",

   "result": "Invalid job type for this context"
 }

任何人都可以建议我出了什么问题或提供为 SparkSQL 设置作业服务器的详细过程吗?

代码如下:

import com.typesafe.config.{Config, ConfigFactory}
import org.apache.spark._
import org.apache.spark.sql.hive.HiveContext
import spark.jobserver.{SparkJobValid, SparkJobValidation, SparkHiveJob}

object newHiveRest extends SparkHiveJob {


  def validate(hive: HiveContext, config: Config): SparkJobValidation = SparkJobValid

  def runJob(hive: HiveContext, config: Config): Any = {

    hive.sql(s"use default")
    val maxRdd = hive.sql(s"select count(*) from 'default'.'passenger'")

    maxRdd.count()
  }
}
4

1 回答 1

0

对于 Spark SQL,您可以使用以下命令

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server-extras/src/spark.jobserver/SqlTestJob.scala

于 2016-01-27T09:29:06.920 回答