问题标签 [azure-sql-data-warehouse]

我们正在过渡到 Azure SQL 数据仓库 - 一个突出显示的问题是需要将一些较小的表从循环/散列分布更改为复制以提高性能。

MS 设计指南（请参阅此处）建议此决定的一个标准是占用少于 2Gb 磁盘空间的表。即这些表可以制作成复制表。他们建议使用 DBCC PDW_SHOWSPACEUSED 来确定这一点。

我可以对整个数据库或一个特定的表运行它，但我真的很想获得所有表和使用的空间的列表（最好以 MB 为单位）——但这超出了我的范围。

很多谷歌搜索要么给我两个我已经知道的基本命令（针对整个数据库/针对 1 个表），要么给我不针对 Azure DW 运行的 SQL Server 查询 - 例如使用sys.allocation_units - 这是不支持的在 Azure DW 中。

作为 Datawarehouse 的新手，我有一个新要求，即从 Datalake（GEN1/GEN2）创建 EXTERNAL TABLE 到 Databricks 的 DWH。我使用该链接创建了以下代码。

我写的代码

这会引发错误：com.databricks.spark.sqldw.SqlDWConnectorException：SQL DW 连接器代码中遇到异常。我哪里错了？任何帮助将不胜感激。

我正在尝试计算前往每个目的地的乘客人数。这是一些示例代码，如果有帮助的话。

DDL：

DML：

我想知道有多少乘客飞往 JFK 和 DXB。

预期结果：

到目前为止我的尝试：

我正在尝试使用暂存 Blob 存储将数据获取到 Azure SQL 数据仓库。它正在使用托管身份。从 Azure SQL DB 获取数据并在 Blob 存储“暂存”帐户下写入文件时，第一步工作正常。但是，当尝试在 SQL DW 中添加行时，它会给出指向数据工厂托管身份应用程序 ID 的错误，即 98421a8f-73a4-4ef1-aa79-8a852e452b77，如下所述。

SQL DB 和 DW DB 不在同一个 SQL Server 中。

我还通过访问控制 (IAM) 下的角色分配将数据工厂应用程序添加到 DW 服务器...

感谢任何帮助/猜测！

错误信息：

{ "errorCode": "2200", "message": "ErrorCode=FailedDbOperation,'Type=Microsoft.DataTransfer.Common.Shared.HybridDeliveryException,Message=将数据加载到 SQL 数据仓库时发生错误。,Source=Microsoft.DataTransfer。 ClientLibrary,''Type=System.Data.SqlClient.SqlException,Message=指定的模式名称\"98421a8f-73a4-4ef1-aa79-8a852e452b77@68a5e094-6fa7-4c99-bc18-154866e518f0\"要么不存在，要么你存在没有权限使用。,Source=.Net SqlClient Data Provider,SqlErrorNumber=2760,Class=16,ErrorCode=-2146232060,State=1,Errors=[{Class=16,Number=2760,State=1,Message =指定的架构名称\"98421a8f-73a4-4ef1-aa79-8a852e452b77@68a5e094-6fa7-4c99-bc18-154866e518f0\"要么不存在，要么您没有使用它的权限。,},],'",“failureType”：“UserError”，“目标”：“Copy_8jp”，“详细信息”：[] }

我们在 Azure VM 上的 IIS 中托管了一个 .Net ASMX Web 服务。我们正在从 Web 服务中的 Azure SQL 数据仓库检索一些数据。我们在 web.config 文件中配置了以下连接字符串。

add key="connectionString" value="Driver={ODBC Driver 13 for SQL Server};Server=;Database=;Uid=;Pwd=;Encrypt=yes;TrustServerCertificate=no;Min Pool Size=0;Max Pool Size= 500；池化=真；连接超时=10800"/

我们尝试进行 POC 并连续 200 次调用 Web 服务。在 webservice webmethod 中，我们只是打开连接。然而，在 55 到 60 次调用之后，我们开始收到异常：连接超时。

我的问题是，当我们在连接字符串中将 Max Pool Size 值设置为 500 时，为什么仅在 55 次调用后就会出现连接超时。我是否需要更改任何其他设置以使其适用于至少 500 个连接？

Azure SQL 数据仓库是 Gen2：DW1000c

我有一个配置了 mediumrc 的用户和一个配置了 1500 DWU 的 SQL 数据仓库。

根据文档：

• 我最多可以有 32 个并发查询
• 我有 60 个并发插槽
• 而 mediumrc 使用 6 个插槽

我只有一个用户，负责许多表的数据摄取。

考虑到它是唯一在 DW 中运行的东西，我是否会为这个用户提供最多 10 个并发查询？

在文档的任何地方，Microsoft 都建议我们尽可能始终使用 CTAS。

我正在为 ADW 构建数据摄取流程。这个进程可能会收到我们想要从目标表中删除的数据。但是，为了使用 CTAS，我们必须重命名表。

但是，如果该表中有一个长时间运行的查询怎么办。我注意到重命名锁定并等待查询结束。

这让事情变得很困难，因为当我有一个 10 亿行的表时，sql 删除执行得非常糟糕，并且重命名会被锁定，直到查询完成。

有没有更好的方法来解决这个问题？

我只想每天从一张桌子上获得最大数量。因此，每天，如果我在 Cnt 中只有一个零，则抓取一条记录，如果该值大于零，则抓取该特定记录。一个简单的 MAX() 将不起作用，因为我在同一天有不同的价格。

这是我的桌子的图像。我想将行保持为绿色。也许这是一个自我加入，基于 ID 和日期。只是在这里大声思考。

我正在使用 SQL Server 数据仓库。

尝试使用 Polybase + 启用暂存 Blob 存储将数据从 Azure SQL 提取到 Azure DW 数据库时，我收到此错误消息。

此服务器上未启用托管服务标识。请启用托管服务标识并重试。

我尝试创建一个托管身份用户，将其分配给 Web 服务并授予其权限，将该用户链接到在数据库中具有所有者权限的 AAD 组，但它不起作用。