我希望使用 Databricks Connect 开发 pyspark 管道。DBConnect 真的很棒，因为我能够在实际数据所在的集群上运行我的代码，所以它非常适合集成测试，但我也希望能够在开发和单元测试（pytestwith pytest-spark）期间，只需使用本地火花环境。
有没有办法配置 DBConnect，所以对于一个用例，我只使用本地 Spark 环境，但对于另一个用例，它使用 DBConnect？
问问题
393 次