spark-submit - spark-submit 可以用作作业调度程序吗？

Question

我有一个 spark 独立集群，没有安装其他作业调度程序。我想知道是否spark-submit可以用作 spark 和 non-spark 作业的作业调度程序（例如，不是为 Spark 编写的 scala jar 并且不使用 RDD）？

根据我的测试，spark-submit用于提交非 Spark 作业并且作业运行成功。但这是我的问题：

1. 以下选项仍然有意义吗？ --driver-cores --driver-memory --executor-memory --total-executor-cores
2. 如果否为 1，是否意味着spark-submit可以使用 FIFO 维护一个 spark 和 non-spark 作业队列，但它不管理 non-spark 作业的资源？
3. 如果 2 为真，我是否应该使用另一个调度程序（例如 SGE 或 LSF）来提交非 Spark 作业？

谢谢！

Answer 1

经过多次测试，我想通了。是的，Spark Standalone 可以作为 Spark 和非 Spark 作业的作业调度程序。

1. 但是，对于非火花作业，spark-submit只创建驱动程序，没有执行程序。
2. 这些作业被安排在一个 FIFO 队列中，队列头部的作业只有在其资源需求（例如spark-submit命令中指定的内核和内存）得到满足时才会启动。