0

使用 spark 独立集群插入 play 应用程序，它在 dev 模式下运行良好，但是当尝试在生产模式下部署时，它会出现以下错误：

 Caused by: org.apache.spark.SparkException: A master URL must be set in your configuration

我正在使用 spark-2.1 这里是片段

lazy val spark = SparkSession.builder().appName("Spark_with_Play").master("spark://ip:7077").config("spark.executor.memory", "2g").config("spark.deploy.defaultCores",8).getOrCreate()

那么如何在生产模式下在 conf/appliaction.conf 文件中设置 spark master呢？

4

1 回答 1

0

经过多次试验，能够找到 用于从 application.conf 文件中读取配置并将其传递到代码中的类型安全配置。这是application.conf文件的内容：

spark.master = "spark://ip:7077"

这是添加到build.sbt的行

"com.typesafe"%"config"%"1.2.0"

在控制器中是代码片段：

import com.typesafe.config._
val conf = ConfigFactory.load()
val sparkMaster = conf.getString("spark.master")

val spark= SparkSession.builder().master(sparkMaster).getOrCreate()
于 2017-04-12T09:21:20.227 回答