1

这可能是一个幼稚的问题。

当我从下面的代码中使用 pyspark 创建 spark 上下文时,运行应用程序的状态开始出现在 spark 仪表板上的“正在运行的应用程序”下

conf = pyspark.SparkConf().setAppName('blah').setMaster('spark://<some-ip>:8000')
sc = pyspark.SparkContext(conf=conf)

但是当我从下面的代码片段创建火花会话时,火花仪表板上没有显示应用程序的状态。

spark = SparkSession.builder
  .appName('blah blah')
  .master('spark://<some -ip>:8000')
  .getOrCreate()

我不确定为什么会这样,因为我对 Spark 完全陌生,所以请提供帮助。

4

0 回答 0