apache-spark - 为什么我在尝试访问 spark master webUI 时会重置连接？

Question

我正在尝试在 CentOS8 上安装 spark 独立集群，并在启动后尝试访问主服务器的 webUI 时不断重置连接。我错过了什么吗？请帮忙。

我有：

1. 安装的java：

openjdk version "1.8.0_302" OpenJDK Runtime Environment (build 1.8.0_302-b08) OpenJDK 64-Bit Server VM (build 25.302-b08, mixed mode)

2. 安装的斯卡拉：

   Scala 代码运行器版本 2.10.6 -- 版权所有 2002-2013，LAMP/EPFL

/usr/lib/scala -> /usr/lib/scala3-3.0.1/

3. 安装火花：

scala -> /usr/lib/scala3-3.0.1/

4. 使用 .bash_profile 中的环境变量配置 bash 配置文件：

export PATH=$PATH/user/lib/scala/bin export SPARK_HOME=/opt/spark export PATH=$PATH:$SPARK_HOME/bin

5. 在防火墙中打开了一些端口：

ports: 6066/tcp 7077/tcp 8080-8081/tcp

6. 将配置添加到 spark-env.sh

SPARK_LOCAL_IP='localhost' SPARK_MASTER_IP='spark-master' SPARK_MASTER_PORT='7077'

7. 使用 start-master.sh 启动 master

8. 使用 Firefox 访问 http://localhost:7077 - 但不断重置连接

Answer 1

Spark master web UI 端口默认为 8080。检查 http://localhost:8080。您可以使用 SPARK_MASTER_WEBUI_PORT 环境变量更改它。供您参考。