我有一个连接到 Apache Spark 集群并执行一些操作的 Java 应用程序。我正在尝试使用 databricks-connect 7.3 连接到 Azure 上的 Databricks 集群。如果我从终端运行databricks-connect test
,一切正常。我正在关注他们的文档,我在 IntelliJ 中包含了 jar,spark.databricks.service.server.enabled true
在 Databricks 中添加到集群中,并使用以下内容创建了 SparkSession:
SparkSession spark = SparkSession
.builder()
.master("local")
.getOrCreate();
问题是此命令连接到在运行时实例化的本地集群,而不连接到远程 Databricks 集群。我错过了什么吗?