eclipse - Spark Scala 应用程序未使用 sbt 在 Eclipse 中运行

Question

我，我按照下面的链接并使用 sbt eclpise 插件在 Eclipse 中创建了一个 spark scala 应用程序。

https://www.nodalpoint.com/development-and-deployment-of-spark-applications-with-scala-eclipse-and-sbt-part-1-installation-configuration/

遵循所有步骤，并能够使用 sbt 运行 SampleApp。但是当我将应用程序移植到 Eclipse 时，我无法运行该应用程序。但可以使用 Scala 解释器逐行运行。以下是我在运行应用程序时遇到的错误。关于出了什么问题的任何想法？

Using Spark's default log4j profile: org/apache/spark/log4j-
defaults.properties
17/09/12 22:27:55 INFO SparkContext: Running Spark version 1.6.0
17/09/12 22:27:56 WARN NativeCodeLoader: Unable to load native-hadoop 
library for your platform... using builtin-java classes where applicable
17/09/12 22:27:56 ERROR SparkContext: Error initializing SparkContext.
org.apache.spark.SparkException: A master URL must be set in your 
configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
at TowerLocator$.main(TowerLocator.scala:11)
at TowerLocator.main(TowerLocator.scala)
17/09/12 22:27:56 INFO SparkContext: Successfully stopped SparkContext
Exception in thread "main" org.apache.spark.SparkException: A master URL 
must be set in your configuration
at org.apache.spark.SparkContext.<init>(SparkContext.scala:401)
at TowerLocator$.main(TowerLocator.scala:11)
at TowerLocator.main(TowerLocator.scala)

谢谢

Answer 1

从 Eclipse 启动应用程序时，您必须指定主 URL。

val conf = new SparkConf().setAppName("Sample Application").setMaster("local[*]")

从 shell 启动时，您使用--master参数指定它