问题标签 [azure-synapse]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
azure-synapse - 自动暂停和恢复 Azure 突触分析数据库
想要在周六、周日和周一早上暂停数据库想要使用任何脚本或任何选项自动恢复是做什么的?或如何?
谢谢!
azure - 从 Azure SQL 数据库迁移到 Azure Synapse
我们目前正在将应用程序数据库中的数据引入 Azure SQL 数据库。现在大小约为 600 GB(主要分布到仅 3 个事实表,其余表是非常小的主数据),它在 40 个 vCore 上运行(我们经常使用它进行报告,因此需要大量vCore 数)。
我目前面临的一些困难:
从源到接收器的数据复制通常需要很长时间。我们使用的方法是把这个月的
delete
所有记录,然后copy
这个月的数据从application db 过来。写入接收器通常也需要很多时间(由于我相信事实表上的索引)。每当有人拉出大查询时,就会出现高数据 I/O。
在这里希望有人可以阐明如何使设置更快地工作。
谢谢!
azure - 如何从另一个 Azure SQL DW 访问一个 Azure SQL DW 的表?
我想在我当前的 Azure SQL DWH 的存储过程中访问另一个 SQL DWH 中的表。我在网上搜索发现只有 SQL 数据库的方法。请告诉是否有人想出了任何解决方法。
PS:是否可以在两个 DWH 中同步表,即每次在一个 DWH 中的表中有更新时,它都会复制到另一个 DWH 中的同一个表中。
azure - Azure 数据工厂 v2 - OData - 复制数据 - XmlError 十六进制值 0x1F 是无效字符第 1 行,位置 1
以下是使用的示例 OData URL 格式:
https://odata-my-company.net/api/v1/datalake/abcd1234321234ef9887492023/data_tablename/
我尝试使用编码 URL 以及将“:”替换为“%3A”,将“/”替换为“%2F”
还尝试完全删除“https://”。还尝试使用“http://”而不是“https://”
没有任何效果。
有什么帮助???提前致谢
=== 下面的错误消息 ===
连接失败
无法创建到 RequestUrl 的 OData 连接 无法从消息内容中读取元数据文档。XmlError : '',十六进制值 0x1F,是无效字符。第 1 行,位置 1. : (1, 1)
sql-server - 如何在 Azure Synapse 中实现序列
我想为 Synapse 表中的一列提供增量值 (+1)。
我试图创建一个序列(从中获取下一个值),但目前 Synapse 似乎不支持它。 https://feedback.azure.com/forums/307516-azure-synapse-analytics/suggestions/19746709-support-sequence-types-in-sql-dw
我还尝试将该特定列定义为 IDENTITY (1,1)。样本:
但它没有按预期工作,因为当我执行插入查询时,列的值被跳过,即我没有得到连续值(1、2、3、4、5、7、9、10 ...)。似乎是因为 Synapse 中的 MPP 执行。
有人可以帮忙吗,我如何在 Synapse 表中实现序列或任何其他我可以获得连续值(+1)的解决方法。
azure-sql-data-warehouse - Azure Synapse SQL:SQLOnDemand 的安全选项
按需 SQL
Daynamic 数据屏蔽、行级安全性和 RBAC(或基于角色)是否适用于 SQL On Demand 查询或来自 NoteBooks 的数据访问?
任何官方文件的链接都可以证实这一点?
azure-synapse - 查询 Synapse Analytics 中所有表的大小
我希望能够根据表的大小查询和过滤表
我已经知道 sp_spaceused,但它一次显示一个表的大小
azure-data-lake - 尝试在 Azure Synapse 中的链接存储上读取 parcquet 文件
我正在尝试授予对 Gen2 Data Lake 容器上镶木地板文件的访问权限。我在容器上有所有者 RBAC,但希望限制其他用户在容器中的访问。
我的查询很简单:
当我运行它时,连接没有问题。我试图将 ACL 权限添加到文件(当然还有包含文件夹“Top”和“Sub”)。
我已经使用存储资源管理器和默认值在“顶部”文件夹中提供了 RWX,以便在我添加它们时它级联到“子”文件夹和镶木地板文件
当我的同事尝试运行 SQL 脚本时,会收到错误消息。Failed to execute query. Error: File 'https://aztsworddataaipocacldl.dfs.core.windows.net/pocacl/Top/Sub/part-00006-c62926ba-c530-4ad8-87d1-cf38c67a2da3-c000.snappy.parquet' cannot be opened because it does not exist or it is used by another process.
NB 在 Spark 中也遇到了类似的结果,但用 403 代替
SQL on-demand 在错误后提供了指向 以下帮助文件的链接,它建议:
如果您的查询失败并显示“文件无法打开,因为它不存在或被另一个进程使用”的错误,并且您确定这两个文件都存在并且它没有被另一个进程使用,这意味着 SQL 按需不能访问文件。发生此问题的原因通常是您的 Azure Active Directory 身份无权访问该文件。默认情况下,按需 SQL 会尝试使用您的 Azure Active Directory 身份访问文件。要解决此问题,您需要具有访问该文件的适当权限。最简单的方法是在您尝试查询的存储帐户上授予自己“存储 Blob 数据参与者”角色。
我不希望授予 Storage Blob Data Contributor 或 Storage Blob Data Reader,因为这可以访问容器上的每个文件,而不仅仅是我希望最终用户能够查询的文件。我们发现 SSMS 连接到 parquet 外部表时会发生相同的体验。
那么分部分:
- 这是使用 ACL 授予访问权限的正确模式,还是应该使用其他方法?
- 存储帐户或我的查询/笔记本中是否有我应该启用以支持 ACL 的设置?*
- 鉴于我们仍处于预览阶段,ACL 是否已在 Synapse Workspace 上实施?
*我拒绝粘贴我的整个设置,因为我真的不知道什么是相关的,什么与这个问题完全无关,但当然可以提供。
azure - 无法为 Synapse Analytics 调用暂停(工作区预览)
我可以调用 api 来检查数据库状态,但是当我尝试向“暂停”端点发帖时,我得到以下信息:
我无法找到和/或删除拒绝分配。Synapse Analytics(工作区预览)是否无法访问暂停端点?
sql-server - 根据输入对象列表过滤 DACPAC 文件
目前我有一个使用 DACPAC 文件的 Azure Synapse DW 增量部署的 Azure DevOps 发布管道,它工作正常。现在,我希望在 DACPAC 文件上实现一个过滤器,以便在比较后仅包含特定对象,并且只有这些对象才会部署到目标数据库。因为我们通常在开发环境中创建了许多表/存储过程,并且这些表/存储过程无法部署到更高的环境中。我尝试使用 DacFX API 排除所有Delete
,Add
和Changed
使用以下代码片段的操作,然后仅包含需要部署的对象。但是排除对象需要很长时间。注意:这里我正在处理大约 3k 个对象。
需要您的专家建议以使其正常工作,或者也欢迎任何其他建议。
提前致谢。