我成功安装了 databricks-connect 并且它对我来说工作正常，但由于某些原因，我想使用本地 SparkSession ，所以只需运行SparkSeesion.builder.getOrCreate() 它就会使用 databricks 集群而不是我笔记本电脑中的本地会话，任何想法请不要创建一个新的虚拟环境，
谢谢
问问题
74 次
1 回答
0
这是 Databricks 连接的默认行为 - 即使主服务器是本地的，它也始终使用远程执行程序。但是你真的需要它来开发吗？标准方法可能是在本地使用 pyspark，并从 CI/CD 管道在 Databricks 上运行测试 - 这种方法由cicd-templates 项目演示，其中单元测试使用 pyspark 在本地执行，集成测试 - 在 Databricks 集群上触发来自 CI/CD 管道
于 2021-03-02T20:50:10.353 回答