我想在与 Spark Master 不同的主机上部署Spark Job Server(在 Docker 容器中)。但是server_start.sh脚本似乎假设它与 Spark Master 在同一台机器上运行。例如:
if [ -z "$SPARK_CONF_DIR" ]; then
SPARK_CONF_DIR=$SPARK_HOME/conf
fi
# Pull in other env vars in spark config, such as MESOS_NATIVE_LIBRARY
. $SPARK_CONF_DIR/spark-env.sh
在架构部分它说:
作业服务器旨在作为一个或多个独立进程运行,独立于 Spark 集群(尽管它很可能与 Master 位于同一位置)。
有谁知道如何使server_start.sh
脚本与托管在与 Spark Job Server 不同的机器上的 Spark Master 一起工作?