问题标签 [azure-sql-data-warehouse]

我使用 SQL Server 管理工作室针对 Azure 数据仓库生成脚本。我选择了版本 Azure 数据仓库，它会在脚本下方生成以删除表（如果存在）并创建表。但是，该脚本无法通过验证。请参阅下面的错误消息。

错误信息：

第 2 行第 12 列的解析错误：“IF”附近的语法不正确。

我在尝试运行以下代码以声明一个游标时遇到语法错误，该游标贯穿并打印我的OrderTable.

第 3 行第 11 列的解析错误：“OrderCursor”附近的语法不正确。

你能帮我弄清楚我在这里错过了什么吗？或者这可能与我的数据库版本有关，即：Microsoft Azure SQL 数据仓库 - 10.0.9999.0 n？

谢谢你的帮助

我有数据工厂，其中源是 CSV，目标是 Azure SQL 数据仓库

Azure SQL 数据仓库中的表有一个额外的 DateTime 列，用于触发触发器的触发时间。

映射架构时如何让它工作？

注意：在 Azure SQL 数据仓库中，不可能像在 Azure SQL 数据库中那样拥有具有默认值 GETDATE() 的列。

SQL 数据仓库中的列是“InsertedOn”

我的管道如下所示：

这是我的来源：

我正在尝试使用以下 Pyspark 代码从 Azure Data Lake 读取 Parquet 文件。

现在我想使用以下代码将此数据帧 df 作为表加载到 sql 数据仓库中：

这将在 SQL 数据仓库中创建一个表 dbo.test111，其数据类型为：

• 标识（nvarchar（256），空）
• IsDeleted（位，空）

但我需要这些具有不同数据类型的列，例如 SQL 数据仓库中的 char(255)、varchar(128)。在将数据框加载到 SQL Dataware house 时如何执行此操作？

我正在尝试获取 SQL Server（数据仓库）的 database_size 值

据我所知，我们有 sp_spaceused 可用于检查 database_size

但我找不到任何解决方案来帮助 grep database_size 值的数量

另一个解决方案是不使用 spaceused，但由于 Azure DWH 不允许 sys.master_file，其他解决方案也不起作用。

任何帮助将不胜感激！

我在 Redshift 中有一个数据类型为文本的表。我想将此数据移动到 Azure 数据仓库。谁能为此建议最好的分发方法（哈希或循环）？因为数据类型是 Redshift 中的文本并且其中包含大数据

我的项目中有一个要求，我在 Azure SQL DW 中实现 SCD 类型 2 表。我可以使用 JDBC 连接器插入新记录，但我需要将旧记录更新为“过期”，并根据更新的值更新其他记录。

所以我有一个带有计时器触发器的 Azure 函数应用程序。它每天早上 4 点运行。它所做的只是从 Azure 数据仓库执行 SQL 存储过程。

问题是：存储过程大约需要 20 - 25 分钟才能完成。存储过程有几个任务，包括调用其中的多个存储过程以将数据从 Azure 数据湖移动到 SQL 数据仓库。当存储过程耗时超过 20 分钟时，不会记录函数应用的执行。

为了更好地解释，如果我转到函数应用程序的监控页面，有些天日志会丢失。因此很难判断函数应用程序是成功运行还是失败。

为了避免这种情况，我们计划拆分存储过程任务，但这里的问题是，父过程中的每个存储过程都依赖于序列。顺序非常重要，因为基础数据中存在数据依赖性。

我试图研究 Azure 中的 Durable Functions，但需要一些专家就如何使用它提供建议。

那么，我可以创建一个带有一些触发器的新函数应用程序，该触发器可以在父函数应用程序或其中的存储过程完成后触发吗？

请指教。

我想删除表中的所有行，其中 batchId （运行编号）比前两个旧。我可能可以在带有查询的 SQL 数据库中执行此操作：

但是这在 SQL 数据仓库中是不允许的。在这里寻找替代品。

我正在使用 Azure SQL 数据仓库中的表分区做一些 PoC 工作。我已多次阅读有关表分区的可用文档（https://docs.microsoft.com/en-us/azure/sql-data-warehouse/sql-data-warehouse-tables-partition），但有点想出一个完整的策略来解决我的问题集，这似乎很常见。

在我的情况下，我基本上想要一个分区列中的每个唯一值的分区 - 我们称之为日期。随着时间的推移，我将获得新的值（需要新的分区），并且我还需要每天多次替换一个或多个分区的内容，同时尽量减少对用户的潜在影响。我遵循标有“表分区源代码控制”的部分作为初始分区设置的策略。我认为每天需要多次替换某些分区意味着我需要一个相同/空的临时表，我可以清除/加载然后使用分区交换。我觉得我缺少的策略的一些要素是（我知道这里有几个问题 - 我将它们混为一谈，以防我缺少一些总体方面）：

• 当我正在处理新 Date 值的数据时，我将如何检查我是否已经有该值的分区？只需执行 SPLIT RANGE 并吞下“正在添加的边界值已存在”错误（如果发生）？

• 加载登台表时，在我确认存在我正在处理的 Date 的分区后，我听说清除分区最有效的方法是 DROP 分区（而不是 delete.. .where date='') 为了避免事务记录...我看到了 SQL 的记录语法，但没有看到 SQL 数据仓库？

• 我看到了交换分区的语法——它似乎要求你知道要交换的分区号。你如何找出分区号 Date X 是什么（我看到一些与分区相关的视图，但不能完全放在一起你如何得到partion_number，给定表名和值）？