scala - 在 Slurm 上运行 Spark

Question

如何在 Slurm 集群上运行 Spark？我很感兴趣在我的程序中定义 SparkContext 并设置我想使用多少个节点，但是如果我必须为它编写一些 bash 脚本，那也可以。

Answer 1

Magpie ( https://github.com/llnl/magpie ) 是一个 shell 脚本包，用于在传统 HPC 集群（例如由 SLURM 管理的集群）之上运行大数据应用程序（例如 Spark）。它为您管理排队作业的大部分复杂性，但您可能仍需要修改提交脚本以适合您自己的 Spark 应用程序 - 请参阅文件submission-scripts/script-sbatch/magpie.sbatch-spark以获取更多信息。

Answer 2

你有两个选择。

1. 只需将 Spark 的独立模式与 Slurm 一起使用即可。这意味着将目标机器上的静态资源子集分配给每个系统。
2. 将 Slurm 实现为 Spark 的集群选项。这对于真正的资源管理和共享来说是最好的，但要困难得多，因为你必须弄清楚 Spark 的集群抽象并正确地实现它们。您可以先查看如何实现 YARN 或 Mesos 支持。