0

我尝试在 Spark 中启动会话。我已经下载了Java版本如下：

java version "17" 2021-09-14 LTS
Java(TM) SE Runtime Environment (build 17+35-LTS-2724)
Java HotSpot(TM) 64-Bit Server VM (build 17+35-LTS-2724, mixed mode, sharing)

我还安装了 Pyspark。

Python 3.8.5 (default, Sep  4 2020, 02:22:02) 
[Clang 10.0.0 ] :: Anaconda, Inc. on darwin

但是当我尝试开始一个会话时，我得到了异常错误。代码：

#Creating a spark connection
from pyspark import SparkContext

sc = SparkContext(master = "local")

错误：

Exception: Java gateway process exited before sending its port number

你能帮忙吗？提前致谢。

4

2 回答 2

1

您的 java 版本 (17) 对于 spark 来说太高了。来自 Spark文档

Spark runs on Java 8/11, Scala 2.12, Python 3.6+ and R 3.5+

所以你需要将你的 Java 减少到 11 或 8。

于 2021-10-16T12:52:40.050 回答
0

我已经下载了 Java 版本 11 并且知道它正在工作。

要查看如何卸载现有 Java 版本：https ://explainjava.com/uninstall-java-macos/

下载 Java 11：https ://www.oracle.com/java/technologies/javase/jdk11-archive-downloads.html

于 2021-10-18T06:17:13.877 回答