问题标签 [azure-synapse]

作为参考，我正在使用 CCI 表（哈希）我正在寻找一种解决方案来监控，对于在我的哈希上使用 WHERE 谓词的查询，Synapse 是否很好地跳过了无效的行组。

在我的项目中，我需要展示 Pipeline 在使用 PHP 构建的自定义 Web Portal 上的进展情况。是否有任何语言（例如 C# 或 Java）可以列出管道并监视进度甚至登录 Application Insights？

我正在按照指南 ( https://docs.microsoft.com/en-us/azure/synapse-analytics/get-started ) 从 SQL 池加载数据并将 DataFrame 写入元存储中的表。但是我收到一个错误：

错误：org.apache.hadoop.fs.azurebfs.contracts.exceptions.AbfsRestOperationException：操作失败：“此请求无权使用此权限执行此操作。”，403，PUT，https://xxx.dfs.core .windows.net/tempdata/synapse/workspaces/xxx/sparkpools/SparkPool/sparkpoolinstances/8f3ec14a-1e59-4597-8fd9-42da0db65331?action=setAccessControl&timeout=90 , AuthorizationPermissionMismatch, "此请求无权使用此权限执行此操作.RequestId:fe61799c-e01f-0003-119e-37fdb1000000 时间:2020-05-31T22:57:55.8271281Z"

我已经用 xxx 替换了我的资源名称。

其他 DataFrame saveAsTable 操作工作正常。据我所见，数据正在从 SQL 池中成功读取并被暂存，因为当我浏览错误中指定的数据湖位置时，我可以看到数据。

/tempdata/synapse/workspaces/xxx/sparkpools/SparkPool/sparkpoolinstances/8f3ec14a-1e59-4597-8fd9-42da0db65331

Synapse 工作区托管标识具有存储 blob 数据参与者权限，我自己的域帐户具有所有者访问权限。

其他人有问题吗？

谢谢

安迪

我是 Azure Synapse Studio 的新手。

我正在使用 Synapse 分析并从 NYTaxi 加载数据并使用加载用户等成功创建数据库。

但是一旦我在 Synapse Analytics 中创建了一个工作区，然后启动了 Azure Synapse Studio。

• 我看不到任何数据库
• 我想知道如何创建数据集
• 我想知道如何在 Studio 中处理 PowerBI

还与 Apache Spart 等有关，我需要帮助

在此先感谢 Vijay Perepa

是否可以在 Azure Synapse Analytics 中的表的分区上设置到期日期？例如，我有一个按日期列分区的表，我希望我的表只保留分区一周。是否可以在 Azure Synapse Analytics 中自动丢弃超过一周的旧分区？

我正在使用 Azure DevOps 构建和部署我的Azure Synapse

我有两个YAML文件。第一个效果很好，我需要将构建和发布步骤分开。因为我写了第二个YAML文件。第二个YAML文件有这个错误：

第一个运行良好的 YAML 文件：

第二个有错误的 YAML 文件：

@Levi Lu-MSFT 答案的更新 #1

我已经改变了我的第二个脚本，如下代码：

但我仍然有同样的错误。

上传任务结果

下载任务结果

SqlAzureDataWarehouseDacpacDeployment 错误：

##[错误]没有找到使用搜索模式 d:\a\1\s\SQL_ASynapse\bin\Release\SQL_ASynapse.dacpac 部署的文件在https://aka.ms/sqlazuredeployreadme#troubleshooting-查看如何解决故障

我想使用以下结构将批量数据从 BLOB 存储复制到 Azure Synapse：

斑点存储：-

突触 SQLDW：

使用数据工厂，我想将 BLOB 数据复制到 Synapse 数据库，如下所示：

SQL DB 到 SQL DW 中提到的以下文档： https ://docs.microsoft.com/en-us/azure/data-factory/tutorial-bulk-copy-portal

但是，我在数据工厂中没有找到任何 BLOB 源。

任何人都可以建议，我怎样才能将多个 BLOB 文件移动到不同的表中。

阅读网络后，我有两个选择

1. 使用 ADF 将数据从 SQL 服务器复制到 Azure 突触分析。
2. 将数据复制到 Blob 存储，并从那里使用外部表将数据复制到 Azure 突触分析。

这两个最好的方法是什么？

是否可以将“使用 ADF 将数据复制到 Blob 存储复制数据到 Azure 突触分析”作为另一种选择？

Databricks 有一个很棒的 Synapse 连接器，可以承担批量上传的负担。在后台，连接器正在 Blob 存储中创建一个临时文件夹，并使用 Polybase 外部表非常快速地加载到 Synapse。

目前，我让 ETL 每天对 Synapse 进行批量加载（写入或覆盖单个日期分区）。

从 Databricks 加载到 Synapse 时，是否有任何选项可以确保一致性？

我的意思是分区切换或至少任何事务支持。我是否应该为 Databricks 工作落在中间的情况编写自定义数据库清理逻辑，所以我已经删除了以前的数据并只编写了数据集的一半？

UPD

官方文档说“使用数据源 API”。除了使更新分区不一致的风险之外，是否有任何原因不将数据加载到主表中？

对数据应用一些转换，然后使用数据源 API 将数据写回 Azure Synapse 中的另一个表。

我正在构建我的第一个数据工厂管道，一个非常基本的管道。我有一个只有源（csv 平面文件）和接收器（突触表）的数据流。

源有 12 列。因此，我在 Synapse（通过 SSMS）中创建了一个表，其中所有 12 列都为 varchar。没有钥匙。只是一张基本的桌子。当我构建数据流活动时，源和目标上的数据预览看起来都很完美。但是当我尝试运行（调试）管道时，它只是失败并出现以下错误：

我只是不明白。我花了很多时间试图找出问题所在，但我就是不明白。有人可以告诉我我做错了什么吗？