apache-spark - Databricks Notebooks - 如何知道哪个内核

Question

我正在使用 Databricks 社区版来运行 spark 工作负载。我知道它使用内核来运行笔记本

1. 无论如何确定笔记本使用哪个内核运行？
2. 笔记本将如何在幕后运行（可用信息很少）？

Answer 1

关于第一个问题，Databricks 支持的“主要”语言数量有限 - Scala、Python、R 和 SQL - 您可以在创建笔记本时将它们设置为主要语言。除了在笔记本级别设置的语言之外，您还可以通过使用magics, like, %scala, %python, %r,为给定单元格使用另一种语言%sql。还有一些额外的魔法，例如，%sh在驱动程序上执行 shell 代码，%fs处理 DBFS 上的文件等。所有这些你都可以在文档中找到。

关于第二个问题 - 实际实现不是公开的，但它应该与 Spark 实现类似地工作 -pyspark等等。