0

我正在尝试使用 Azure Databricks 从 Azure 数据仓库获取数据。

连接部分很好，因为我可以看到 DataFrame 中返回的行，但是当我尝试在 DataFrame 中保存或显示记录时，它会引发错误。这是我尝试过的：

df = spark.read \
  .format("com.databricks.spark.sqldw") \
  .option("url", sqlDwNew) \
  .option("tempDir", temDir_location) \
  .option("forwardSparkAzureStorageCredentials", "true") \
  .option("query", "select  * from AccessPermission") \
  .load()
df.count()

输出

(1) Spark Jobs
df:pyspark.sql.dataframe.DataFrame
AccessPermissionId:integer
AccessPermission:string
Out[16]: 4

错误

df.show()

输出

com.databricks.spark.sqldw.SqlDWSideException: SQL DW failed to execute the JDBC query produced by the connector.
4

1 回答 1

0

要知道确切的原因，我会要求您检查完整的堆栈跟踪并尝试找到问题的根本原因。

根据我的重现，我遇到了完全相同的错误消息，并且能够通过查看堆栈跟踪来解决问题，并发现存储帐户的配置存在问题。

com.databricks.spark.sqldw.SqlDWSideException: SQL DW failed to execute the JDBC query produced by the connector.
.
.
.
.
.   

 Caused by: java.lang.IllegalArgumentException: requirement failed: No access key found in the session conf or the global Hadoop conf for Azure Storage account name: chepra

在此处输入图像描述

第1 步：在笔记本会话配置中设置 Blob 存储帐户访问密钥。

spark.conf.set(
  "fs.azure.account.key.<your-storage-account-name>.blob.core.windows.net",
  "<your-storage-account-access-key>")

步骤 2：从 Azure Synapse 查询加载数据。

df = spark.read \
  .format("com.databricks.spark.sqldw") \
  .option("url", "jdbc:sqlserver://<the-rest-of-the-connection-string>") \
  .option("tempDir", "wasbs://<your-container-name>@<your-storage-account-name>.blob.core.windows.net/<your-directory-name>") \
  .option("forwardSparkAzureStorageCredentials", "true") \
  .option("query", "select  * from table") \
  .load()

Step3：显示或显示数据框

df.show()
display(df)

在此处输入图像描述

在此处输入图像描述

参考： Azure Databricks - Azure Synapse Analytics

于 2020-08-12T08:13:46.917 回答