apache-spark - UI 中未显示正在运行的 spark 作业

Question

我已经按照此处bin/spark-submit --class DataSet BasicSparkJob-assembly-1.0.jar提到的方式提交了我的 spark 作业，但没有提及--master参数或spark.master参数。而不是那个作业被提交到我的 3 节点火花集群。但我想知道它在哪里提交了作业，因为它没有显示任何信息Running Applications

Answer 1

如果你没有设置master， Spark--master也spark.master不会在本地运行。

您仍然可以查看您的工作进度。默认情况下，UI 将在您的 spark 作业运行期间可用http://localhost:4040。

当您的工作完成时，此 UI 将被终止，并且您无法查看应用程序的历史记录，除非您配置了 Spark 历史记录服务器

Answer 2

Spark 很可能在您的开发机器上以本地模式运行。