将 sql spark 连接器与 DataBricks 笔记本一起使用时,连接到 Azure SQL Server 数据库时出现错误。
错误:java.lang.NoClassDefFoundError:com/microsoft/sqlserver/jdbc/ISQLServerBulkData
尝试从 DataBricks 中的 parquet 文件中提取数据并加载到 Azure SQL servere 数据库中。在 Spark 2.4.5 兼容的连接器上安装了 Mavan Coordinate com.microsoft.azure:spark-mssql-connector:1.0.1 并安装了使用 SBT 创建的 jar 文件。遵循 Microsoft 的 ( https://docs.microsoft.com/en-us/sql/connect/spark/connector?view=sql-server-ver15 ) 文档。
写入 sql 表:
try:
df_merge.write
.format("com.microsoft.sqlserver.jdbc.spark")
.mode("overwrite")
.option("url", url)
.option("dbtable", table_name)
.option("user", username)
.option("password", password)
.save()
except ValueError as error :
print("Connector write failed", error)
任何帮助表示赞赏。
谢谢。