spark-jobserver - spark-jobserver - 管理多个 EMR 集群

Question

我有一个由多个（持久和临时）EMR Spark 集群组成的生产环境。

我想使用一个实例spark-jobserver来管理这个环境的作业 JAR，并且能够master在 I 时指定预期的权限POST /jobs，而不是永久地在配置文件中（使用master = "local[4]"配置密钥）。

显然我更喜欢spark-jobserver在独立机器上运行，而不是在任何masters.

这有可能吗？

Answer 1

你可以写一个 SparkMasterProvider

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/spark.jobserver/util/SparkMasterProvider.scala

一个复杂的例子在这里https://github.com/spark-jobserver/jobserver-cassandra/blob/master/src/main/scala/spark.jobserver/masterLocators/dse/DseSparkMasterProvider.scala

我认为您所要做的就是编写一个将配置输入作为 spark master 返回的，这样您就可以将其作为作业配置的一部分传递。