这可能是一个幼稚的问题。
当我从下面的代码中使用 pyspark 创建 spark 上下文时,运行应用程序的状态开始出现在 spark 仪表板上的“正在运行的应用程序”下
conf = pyspark.SparkConf().setAppName('blah').setMaster('spark://<some-ip>:8000')
sc = pyspark.SparkContext(conf=conf)
但是当我从下面的代码片段创建火花会话时,火花仪表板上没有显示应用程序的状态。
spark = SparkSession.builder
.appName('blah blah')
.master('spark://<some -ip>:8000')
.getOrCreate()
我不确定为什么会这样,因为我对 Spark 完全陌生,所以请提供帮助。