问题标签 [azure-synapse]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
135 浏览

azure-synapse - azure synapse on demand,外部表是否缓存?

我正在试验新的 Azure synapse on demand sql,我上传了一个小 parquet 文件并创建了一个新的外部表,我的问题是缓存支持,如果我运行相同的查询,它会使用以前的结果还是会查询数据再次 ?

0 投票
1 回答
115 浏览

azure-sqldw - 我在 azure SQL DW 中维护库存,并希望使用 T-SQL 计算一天的初始和最终库存。以下是我的详细信息

我在 azure sql DW 中维护库存,并想计算一天的初始和最终库存。前一天的最终库存为当天的初始库存,当日的最终库存为初始库存+生产-销售。我有生产和销售数量的详细信息。如何计算初始数量和最终数量。

我可以使用滞后函数,但无法添加计算值以在同一查询中获得最终数量。

我想写但不起作用的查询是

从表中选择 lag(finalquantity,1) over ( Partition by Productid Order by Date) 作为 Initialqty,(Initialqty+Produced-sold) 作为 finalquantity

最终数量应作为下一条记录的初始数量。我希望这递归地发生。

在此处输入图像描述

在此处输入图像描述

0 投票
1 回答
168 浏览

sql - 我需要计算 Azure SQL 数据仓库中的运行总计。尝试了递归 CTE,但不支持

Azure SQL Datawarehouse 不支持递归 CTE,我需要一个适用于 Azure SQL DW 的解决方案来解决我的问题。

我有一张表,上面有各种产品的库存详细信息。我有每天生产、销售和退货的产品数量。当天的初始数量将是前一天的最终数量(我在其他表中,请参阅图像中的 Stocklevel 表),我必须使用初始、生产、销售和退货数量计算当天的最终数量当天和当天计算的最终数量应作为同一产品次日的初始数量传递,依此类推。

我尝试使用递归 CTE 并收到错误“此版本不支持递归公用表表达式。”</p>

如果您有任何其他想法,请提供帮助。提前致谢。

图片中是我的详细信息。

0 投票
1 回答
186 浏览

azure-databricks - 为什么 Azure Databricks 需要将数据存储在 Azure 的临时存储中

我正在关注有关使用 azure databricks 进行数据转换的教程,它说在将数据加载到 azure synapse analytics 之前,由 azure databricks 转换的数据将先保存在 azure blob 存储中的临时存储上,然后再加载到 azure synapse analytics。为什么需要在加载到 azure 突触分析之前将其保存到临时存储中?

0 投票
1 回答
120 浏览

azure - 何时使用数据工厂(复制)而不是直接拉入 SQL 突触

我只是在浏览一些 Microsoft 文档并为与数据工程相关的事情做手把手。我有几个关于场景的查询-“将 CSV 文件从 Blob 存储复制到 Synapse 分析(暂存表):

我读到我们可以通过创建外部表的过程直接在 Synapse 中提取数据。(https://docs.microsoft.com/en-us/azure/synapse-analytics/sql-data-warehouse/load-data-wideworldimportersdw

如果上述是可能的,那么在什么情况下我们会使用 Azure 数据工厂复制或数据流方法?在使用 Azure 数据工厂时,使用 Polybase 是否是个好主意,因为它将再次使用 Blob 存储作为此场景中的暂存(即我仅从 Blob 复制文件并再次使用 Blob 进行暂存)?

我搜索了我的查询的答案,但还没有找到任何令人满意的答案。

0 投票
1 回答
443 浏览

azure - 如何在另一个 Active Directory 订阅中保存 Azure Synapse SQL 池(数据仓库)的快照?

Azure Active Directory (ABC) 中有一个数据仓库(Azure Synapse SQL 池)。出于学习目的,我们想在另一个 Azure Active Directory (XYZ) 中创建相同的副本。

目前,我找不到将还原点保存在存储帐户中的任何选项。

有没有办法将还原点保存在存储帐户中,然后从那里还原到目标资源组?

0 投票
1 回答
447 浏览

azure - 我们可以在 Power BI 中编写多个 SQL 查询以将其加载到 Azure Synapse

我们可以从 Power BI 到 Azure Synapse 编写插入、更新、删除、创建表等一系列 SQL 语句,而不是使用 sql server management studio。

我知道我们可以在登录 powerbi desktop 时执行此操作。有没有办法让我们在登录后做到这一点。

0 投票
1 回答
873 浏览

python - DataFrame.show() 在 Databricks 中引发错误

我正在尝试使用 Azure Databricks 从 Azure 数据仓库获取数据。

连接部分很好,因为我可以看到 DataFrame 中返回的行,但是当我尝试在 DataFrame 中保存或显示记录时,它会引发错误。这是我尝试过的:

输出

错误

输出

0 投票
1 回答
1007 浏览

azure - 无法将托管标识添加到 Synapse 池

我正在通过 Synapse 工作室运行 Azure Synapse 工作流并遇到此错误:

如果我进入 Azure Powershell 并检查池,我会看到以下null条目证实了这一点Identity

这有两点很特别:

  1. 我的 Synapse 工作区已经有一个与之关联的托管标识: 在此处输入图像描述
  1. 尝试运行 Powershell 命令时,我得到一个权限被拒绝,如本问题所述

Set-AzSqlServer:对象 ID 为“guid”的客户端“me@contoso.com”有权在范围“/subscriptions/mysubscription/resourceGroups/myrg/providers/Microsoft.Sql”上执行操作“Microsoft.Sql/servers/write” /服务器/mydw'; 但是,由于在“/subscriptions/mysubscription/resourceGroups/myrg”范围内的名称为“c6475066-bbe2-4c03-866c-7556d5e92e9b”和 ID 为“c6475066bbe24c03866c7556d5e92e9b”的拒绝分配,访问被拒绝。

我已验证此托管身份确实可以访问我的数据源 (ADLS Gen2),并且当我在工作室中测试连接时,它们都可以正常工作。

如何将托管标识从 Synapse 工作区分配到我创建的 sql 池?

0 投票
1 回答
1127 浏览

sql - Azure Synapse Analytics(以前的 SQL SW)与 Azure Synapse Analytics(工作区预览版)

以下 Azure 服务之间有什么区别?

  • Azure Synapse Analytics(以前的 SQL DW)
  • Azure Synapse Analytics(私有链接中心预览)
  • Azure Synapse Analytics(工作区预览版)

这三个是不同的产品吗?还是这两个预览服务只是最终将添加到 Azure Synapse Analytics 中的新功能?

文档有点混乱。例如,此工作区预览的常见问题解答 ( https://docs.microsoft.com/en-us/azure/synapse-analytics/overview-what-is ) 看起来就像整个 Azure Synapse Analytics 服务的常见问题解答。