1

我想在与 Spark Master 不同的主机上部署Spark Job Server(在 Docker 容器中)。但是server_start.sh脚本似乎假设它与 Spark Master 在同一台机器上运行。例如:

if [ -z "$SPARK_CONF_DIR" ]; then
  SPARK_CONF_DIR=$SPARK_HOME/conf
fi

# Pull in other env vars in spark config, such as MESOS_NATIVE_LIBRARY
. $SPARK_CONF_DIR/spark-env.sh

架构部分它说:

作业服务器旨在作为一个或多个独立进程运行,独立于 Spark 集群(尽管它很可能与 Master 位于同一位置)。

有谁知道如何使server_start.sh脚本与托管在与 Spark Job Server 不同的机器的 Spark Master 一起工作?

4

2 回答 2

1

您可以在 local.conf 中设置主 URL。有关示例,请参见此处https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/config/local.conf.template#L7

您需要将“local[4]”替换为“spark://master-node:7077”

于 2016-01-31T14:17:33.953 回答
0

除了 noorul 的回答,我想补充一点,你也可以使用“yarn-client”,或者任何你想要的。但是,在这种情况下,请考虑您需要设置 HADOOP_CONF_DIR 或 YARN_CONF_DIR。您可以在此处找到更多信息。然后,您还必须照顾执行作业服务器的用户,以便她能够写入 HDFS - 例如,如果使用 Yarn。

于 2016-09-13T13:03:01.193 回答