spark-jobserver - Spark Jobserver max-jobs-per-context

Question

您如何确定 max-jobs-per-context 设置的安全最大阈值，该设置控制在上下文中运行的并发 Spark 作业的数量？如果你走得太高会发生什么？默认设置为 8（请参见下面的链接），我想将其设置得更高，但我不确定如果设置得太高会发生什么。

https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/main/resources/application.conf

Answer 1

我们在生产中使用的一种方法是在 spark jobserver 前面放置一个队列并控制作业提交。SJS 中没有内置的排队机制。