0

我使用SMACK堆栈开发了一个应用程序,目前正在研究一个在集群内自动分配资源的研究项目(我们使用 DC/OS)。

为了扩大或缩小KafkaCassandraMarathon框架可以轻松启动或多或少的实例。现在我想为 Apache Spark 做这个“运行时缩放”。Spark 配置手册spark.cores.max描述的配置非常适合设置可以请求多少 CPU 内核的初始限制。

当以“粗粒度”共享模式在独立部署集群或 Mesos 集群上运行时,从整个集群(而不是从每台机器)请求应用程序的最大 CPU 内核数。如果未设置,默认值将是 Spark 的独立集群管理器上的 spark.deploy.defaultCores,或 Mesos 上的无限(所有可用核心)。

Spark 已经自动启动新的执行程序,但只要spark.cores.max不超过(暂时不考虑 RAM)。

我现在的问题是,如何在运行时扩展(即允许 Spark 从集群请求更多 CPU),而无需使用更新的配置重新部署应用程序?

4

0 回答 0