我应该添加什么到我的 SBT 并包含在我的 Scala 类头中以构建一个 SnappyJob 以通过 snappy-job.sh 提交使用?
在尝试与其他基于 Spark 的库结合构建作业之前,我正在尝试以 SnappyData 作业的形式进行一些基本的“Hello World”工作。
我一开始就被困住了,试图构建一个程序的外壳,如下所述:
https://snappydatainc.github.io/snappydata/programming_guide/snappydata_jobs/
我输入了以下内容:
class snappytest implements SnappySQLJob {
/** SnappyData uses this as an entry point to execute SnappyData jobs. **/
def runSnappyJob(snappy: SnappySession, jobConfig: Config): Any = {}
/** SnappyData calls this function to validate the job input and reject invalid job requests **/
def isValidJob(snappy: SnappySession, config: Config): SnappyJobValidation = {}
}
在页面下方,它说“对于编写作业,用户需要将 snappydata-cluster_2.11:1.0.0 包含到他们的项目依赖项中。” 我的 SBT 有:
name := "snappytest"
version := "0.1"
scalaVersion := "2.11.11"
libraryDependencies += "io.snappydata" % "snappy-spark-core_2.11" % "2.1.1.1"
libraryDependencies += "io.snappydata" % "snappy-spark-sql_2.11" % "2.1.1.1"
libraryDependencies += "io.snappydata" % "snappydata-cluster_2.11" % "1.0.0"
我的类文件的标题有:
import org.apache.spark.sql._
import org.apache.spark.sql.SnappySQLJob
IntelliJ IDEA 在 IDE 中给我以下错误。
- 紧接在“snappytest”、“';' 或预期换行符”之后。
- 下一个词,“无法解析符号工具”。
- 下一个词,“无法解析符号 SnappySQLJob。”
- 在两个 def 语句中,“无法解析符号配置”。
- 如果我 Alt-Enter Config,我会看到很多关于要导入什么类的建议,但它们都不是 Snappy 或 Spark 相关的。