Databricks “插槽” = Spark “核心” = 可用线程
“插槽”是 Databricks 使用(或使用?)的术语,表示可用于为 Spark 执行并行工作的线程。Spark 文档和 Spark UI将相同的概念称为“核心”,即使它们与物理 CPU 核心无关。
(请参阅Hortonworks 社区上的此答案,以及此“Spark 教程:学习 Apache Spark”databricks 笔记本。)
查看 Spark UI 中的槽数/内核数/线程数(在 Databricks 上)
要查看 Databricks 集群中有多少,请单击左侧导航区域中的“集群”,然后将鼠标悬停在集群条目上并单击“Spark UI”链接。在 Spark UI 中,单击“Executors”选项卡。
您可以在相应表格的“核心”列中的摘要和每个单独的执行器1中看到执行器核心(=执行器插槽)的数量:
1 “本地模式”集群中只有一个执行器,即 Databricks 社区版中可用的集群。
查询槽数/核数/线程数
如何从笔记本中查询此号码,我不确定。
spark.conf.get('spark.executor.cores')
结果是java.util.NoSuchElementException: spark.executor.cores