apache-spark - 什么是 Databricks Spark 集群管理器？可以改变吗？

Question

原始 Spark 分布式支持多个集群管理器，如 YARN、Mesos、Spark Standalone、K8s。我找不到 Databricks Spark 的底层内容，它正在使用哪个集群管理器，是否可以更改？

什么是 Databricks Spark 架构？

谢谢。

Answer 1

您无法检查 Databricks 中的集群管理器，并且您确实不需要它，因为这部分是为您管理的。您可以将其视为一种独立的集群，但存在差异。此处显示了通用 Databricks 架构。

您可以通过不同的方式更改集群配置 - 初始化脚本、配置参数等。有关详细信息，请参阅文档。