apache-spark - pyspark，你能以某种方式将 pyspark 的 SparkContext 传递给 java 对象吗

Question

因此，根据众所周知的火花错误/设计限制https://issues.apache.org/jira/browse/SPARK-2243，您不能拥有多个 SparkContext。现在，我正在做 python 和 Scala 的这种非常丑陋的混合，我有一个 Scala 方法，它需要一个 SparkContext 作为参数。我能否以某种方式实例化这个 Scala 对象，py4j然后将其传递给 pyspark 的 SparkContext（sc在 pyspark shell 中导出）。我的理解是这sc是一个围绕 Scala 对象的薄包装器，但我不知道如何将其转换为 java/scala 类并将其作为参数传递给我的 Scala 方法。

Answer 1

你可以调用SparkContext.getOrCreate()Scala 来获取SparkContextPySpark 创建的活动。