spark-jobserver - SparkJobServer - validate() 总是在 runJob() 之前调用

Question

根据 SparkJobServer 文档：

validate 允许对上下文和任何提供的配置进行初始验证。如果上下文和配置都可以运行作业，则返回 spark.jobserver.SparkJobValid 将让作业执行，否则返回 spark.jobserver.SparkJobInvalid(reason) 会阻止作业运行并提供传达失败原因的方法。在这种情况下，调用会立即返回 HTTP/1.1 400 Bad Request 状态码。validate 可帮助您防止由于缺少或错误配置而最终失败的正在运行的作业，并节省时间和资源。

因此，我可以假设validate()之前总是会调用它runJob()吗？

如果我在 中加载并验证作业配置validate()，我是否可以runJob()假设它已正确加载并且可以在validate()离开它的地方使用？

Answer 1

是的，你的假设是正确的。见https://github.com/spark-jobserver/spark-jobserver/blob/master/job-server/src/spark.jobserver/JobManagerActor.scala#L268