apache-spark - 使用 databricks-connect 提交 SparkApplication 时，Spark 驱动程序在哪里？

Question

我正在使用私有服务器使用databricks-connect在数据块上提交一些作业。主机 Spark 驱动程序在哪里？在私人服务器上，它只是将作业发送给 databricks 工作者？我可以直接在我的服务器上看到 .show() 结果，这是什么意思？我是否使用客户端模式，并且 spark 驱动程序留在私人服务器上？

谢谢

Answer 1

如果您使用 Databricks Connect，则安装它的机器是 Spark 驱动程序，而 Spark 执行程序位于您的数据平面中。