apache-spark - 如何使用 SparkSession 创建 emptyRDD -（因为不推荐使用 hivecontext）

Question

在 Spark 版本 1.*

创建如下 emptyRDD：

var baseDF = hiveContextVar.createDataFrame(sc.emptyRDD[Row], baseSchema)

迁移到 Spark 2.0 时（因为 hiveContext 已被弃用，使用 sparkSession）

尝试过：

var baseDF = sparkSession.createDataFrame(sc.emptyRDD[Row], baseSchema)

虽然得到以下错误：

org.apache.spark.SparkException：此 JVM 中只能运行一个 SparkContext（请参阅 SPARK-2243）

有没有办法使用 sparkSession 创建 emptyRDD？

Answer 1

在 Spark 2.0 中，您需要通过 spark session 引用 spark 上下文。您可以如下创建空数据框。它对我有用。

sparkSession.createDataFrame(sparkSession.sparkContext.emptyRDD[Row], baseSchema)

希望它可以帮助你。