scala - 如何从 Spark 运行 main 方法（在 Databricks 中）

Question

我创建了一个简单的 Scala 代码：

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object app2 {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
    println(s"This is a simple scala code v2 - it is running a Spark code.")
    sc.stop()
  }
}

然后用创建 JAR 文件的 SBT 编译。

然后将该 JAR 添加到 Spark 笔记本中：

sc.addJar("some/path")

如何在 Databricks 笔记本中运行（调用）这个主要方法（app2）以查看“println”命令的输出？

Answer 1

谢谢'罗纳克'。似乎这是一个 scala 代码的成功组合：

/* app4.scala */ 
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object app4 {
  def main(args: Array[String]) {
    val goodSparkContext = SparkContext.getOrCreate()
    println(s"This is a simple scala code v4 - it is running a Spark code.")
  }
}