使用 Spark 1.6.1 独立集群。在系统重新启动后(并且每个工作人员只对 /etc/hosts 进行了微小的配置更改)Spark 执行程序突然开始抛出他们无法连接到的错误spark_master
。
当我echo $SPARK_MASTER_IP
在用于启动 master 的同一 shell 上时,它正确地将主机标识为master.cluster
. 当我在端口打开 GUI 时,8080
它还将主控标识为Spark Master at spark://master.cluster:7077
.
我也设置spark-env.sh
了SPARK_MASTER_IP
。为什么我的执行者试图连接到spark_master
?