问题标签 [azure-sqldw]

随着 SSDT 的新版本，我注意到添加了 Azure 对象，例如外部表等。但是，在数据库项目的目标 Db 平台配置中，我没有看到 Azure SQL 数据仓库作为选项，只有 Azure SQL Server。有谁知道有效地针对 Azure SQL 数据仓库进行数据库开发的工具（例如 SQL 架构比较和更改脚本生成）？

我正在尝试将数据从我的外部表加载到 SQL DW 内部表。我在 BLOB 存储中以压缩格式存储数据，外部表指向 BLOB 存储位置。

我有大约 24 个文件，大小约为 22GB，并尝试使用更大的资源类服务/用户帐户将数据从外部表加载到 300 DWU 上的内部表。

我的 insert into 语句（非常简单）运行了 10 多个小时。插入 Trxdata.Details_data 从 Trxdata.Stage_External_Table_details_data 中选择 *；

我还尝试了以下语句，这也运行了 10 多个小时。创建表 Trxdata.Details_data12 WITH (DISTRIBUTION = ROUND_ROBIN) AS SELECT * FROM Trxdata.Stage_External_Table_details_data;

我明白了 - 两个 SQL 都在“sys”中以 ACTIVE 状态运行。“dm_pdw_exec_requests” [我在想，这可能是并发槽问题，它没有运行并发槽，但事实并非如此]

我希望，增加/扩大 DWU - 可能会提高性能。但查看 portal.azure.com 中的 DWU 使用情况 - 我不相信会增加 DWU，因为 DWU 使用情况图表显示过去 12 小时 <50DWU

DWU 使用图表

所以，我想了解 - 我怎么能找到 - 什么需要这么长时间，我怎样才能提高我的数据加载的性能？

我正在整理一些简单的分析，以基于 CTAS 语句对 DWU 对读写的影响进行基准测试。

该查询将 1.7b 行表聚合为 993k 行的表。源表和目的表是轮询分布（源不会长期RR，会移动到HASH）查询大致如下：

我正在通过 sys.dm_pdw_dms_workers DMV 分析性能，得到 type=DIRECT_READER 和 type=WRITER 的每个分布的平均 bytes_per_second。

我的过程是更改 DWU，删除 CTAS，重新创建它并分析 DMV 中的数据。

当我增加 DWU 时，我没有看到性能的持续改进。我的目标是寻找增加计算的明确证据，但是有时较高的 DWU 会比较小的 DWU 更慢并且返回的 bytes_per_sec 更少。

如果我碰巧在同一个 DWU 上运行 CTAS 语句两次，而不经过缩放过程，那么第二次和后续执行的运行速度会快近 10 倍。

在基于一张表的过程中寻求帮助，暂时不考虑数据移动/连接。

我试图通过运行 grant VIEW DATABASE STATE to srvc_sales_order_writer 让用户帐户（在数据库上创建的本地用户帐户）访问 SQL DW 中可用的 DMV（如“sys”。“dm_pdw_errors”...）

但这失败了

消息 104001，级别 16，状态 1，第 5 行 'VIEW' 附近的语法不正确。

在此处和此处授予权限的参考

我错过了什么吗？

我在从 Azure SQL 数据仓库读取在 Azure HDInsight 中创建的 ORC 表时遇到问题。请参阅下面我遵循的顺序来设置 HDInsight 实例以及 Azure SQL 数据仓库。

1. 我创建了一个文本文件（Sales.txt），内容如下

20150614 | 1 | 10.50
20150618 | 1 | 100.75 20150924
| 1 | 89.75
20160214 | 2 | 10456.90 20150922
| 3 | 34.70
20151021 | 3 |
3
| 43.70 20150608|5|398.90 20150929|5|981.80 20151225|5|482.80 20151231|5|289.60 20160214|5|688.50 20160531|5|682.80

2. 然后我在 Azure 中创建了一个 HDInsight 集群

3. 我创建了一个数据库hadoopdb

4. 我使用以下查询在该数据库中创建了一个外部表

   /li>

5. 使用以下查询加载数据

   LOAD DATA INPATH '/Sales.txt' INTO TABLE hadoopdb.salestxt;

6. 然后使用以下脚本创建了一个内部 ORC 表

   /li>

7. 使用以下查询将数据移动到 ORC 表

   插入覆盖表 hadoopdb.salesorc SELECT * FROM hadoopdb.salestxt

8. 执行以下查询，我确实在 Hive Editor 中看到了结果

   select * from hadoopdb.sales

9. 回到 Azure SQL 数据仓库，使用 SSMS 中的以下查询创建数据源，

   );

10. 使用以下创建外部文件格式

    /li>

11. 创建的架构[hdp]

12. 尝试使用以下脚本创建外部表

    /li>

但是，此查询失败并出现以下错误

消息 105002，级别 16，状态 1，行 1 EXTERNAL TABLE 访问失败，因为指定的路径名​​“/Sales.txt/”不存在。请输入有效路径，然后重试。

我尝试了 LOCATION 的各种组合，例如“myclustercontainer@mystorageaccount.blob.core.windows.net/Sales.txt/Sales.txt”

Sales.txt 文件存在于“myclustercontainer@mystorageaccount.blob.core.windows.net/Sales.txt/Sales.txt”位置的存储帐户中。

我错过了什么吗？

我是 Azure 数据仓库的新手，在阅读一些关于数据实际存储位置的文章时，我有点困惑。是存储数据库表数据的计算节点还是天蓝色 blob 存储？

谢谢

有什么方法可以检查 Azure 数据仓库中被阻止的查询？在我的监控工具中，它在上午的会话中显示了两个被阻止的查询。我需要找出哪些查询被阻止...

我可以使用单个管道同时从多个数据源将数据检索到 Azure SQL DataWarehouse 吗？

我知道 Azure SQL 数据仓库不支持 IDENTITY，但是是否有另一种方法可以以相同的方式在插入时自动将 INT 值分配给列？

我正在使用 Azure 数据仓库，我对它很陌生。我的集群中有 60 个 DWU。我想创建一个只有 10 行的查找表，并希望它在所有 60 个数据仓库单元中复制或可用，但不仅仅是一个。我如何做到这一点？

上面的代码不起作用，它失败并出现错误：Option 'REPLICATE' is not supported in this version of SQL Server.