问题标签 [sql-data-warehouse]

我正在尝试访问我的数据仓库 azure，在 python 的 mlstudio-attached-notebook 中获取一些数据。简单连接说找不到驱动程序。

[01000] [unixODBC][驱动程序管理器]无法打开 lib 'ODBC Driver 13 for SQL Server'：找不到文件 (0) (SQLDriverConnect)。

现在，我需要知道，是防火墙问题还是驱动程序名称不正确的问题。

我尝试了多个驱动程序名称/字符串。没有效果。

我需要将通过 Azure Data Lake Analytics (ADLA) 处理的数 TB 数据集导出到 SQL Server 数据库中。

根据我目前的研究，我知道我可以使用内置输出器将 (ADLA) 输出结果写入 Data Lake 存储或 WASB，然后使用 Polybase 从 SQL Server 读取输出数据。

但是，将 ADLA 处理的结果创建为 ADLA 表对我们来说似乎很诱人。它是一个干净的解决方案（无需管理文件）、多个读取器、内置分区、分布键以及允许其他进程访问表的潜力。

如果我们使用 ADLA 表，我可以通过 SQL Polybase 访问 ADLA 表吗？如果没有，有什么方法可以直接从 Polybase 访问 ADLA 表下的文件？

我知道我可能可以使用 ADF 来做到这一点，但在这一点上，我想尽可能避免使用 ADF - 以最大限度地降低成本并保持流程简单。

JOOQ是否支持“ SQL DataWarehouse ”的方言？
任何指针。

我在前端使用 dapper 来处理数据并将其插入数据仓库。我有一个场景，我需要将批量数据从 dapper 发送到数据仓库并对其执行少量操作。我可以使用数据表来做到这一点。我可以创建一个数据表，用数据填充它，然后将该数据表传递给将对其进行一些处理的存储过程。

但是在数据仓库中，我无法创建数据表。但我需要将数据批量发送到存储过程并对其进行处理。我怎样才能做到这一点？

处理数据意味着我可能必须使用存储过程中的数据对一个或多个表上的更新、插入或删除等数据执行多项操作

谢谢

我在天蓝色数据湖存储中有一个文件。我正在使用 polybase 将数据从数据湖存储移动到数据仓库。我遵循了这里提到的所有步骤。

假设我创建了外部表作为 External_Emp，它有 3 列：ID、Name、Dept。

当我运行以下查询时：

然后，它向我显示所有正确的记录。但是当我选择一个特定的列/列时，它会连续显示列名。例如，如果我运行以下查询：

然后输出是：

而输出应该是：

同样，当我运行查询时：

然后它显示以下输出：

而输出应该是：

为什么它在单独的行中显示列名？那是一个错误吗？

我在 azure 数据湖中多次检查了 csv 文件中的数据。它没有重复的列名。谢谢。

步骤#1：我们应该将 CSV 文件从本地文件服务器复制到 Azure Blob 存储（比如 - Blob 存储中的“暂存”容器）。步骤#2：应用 Polybase，我们将这些文件数据加载到 Azure SQL 数据仓库。

每次从本地文件服务器加载到 Azure Blob 时，我们都会维护相同的文件名（与暂存数据库表同步）。我们在将数据从 blob 存储加载到 Azure Datawarehouse 时面临挑战，因为在每个批处理周期执行期间（使用 ADF 管道运行），我们必须处理和加载从暂存到 Azure SQL DWH 的所有文件。我们每天运行 4 个批次循环。对于每个周期，我们都在处理最新文件以及已经处理的旧文件。有什么办法，我们只能在本地文件服务器上为每个单独的批处理作业加载当前可用的文件。（我的意思是，我们会将这些文件加载​​到 staging 中，并且只将这些文件处理到 sql dwh 而不接触其他文件）。

我们目前有一个 Microsoft SQL Server 实例 (oltp)，用作我们的事务和报告数据库。我们想要提取并创建一个单独的数据库用于报告。

我们目前正在审查 Redshift 和 Snowflake。我们今天提出了一个问题，那就是为什么我们不能创建一个新的 SQL Server 实例来进行报告，它具有星型模式并只使用它（而不是 redshift 或雪花）？我们没有很多超过一百万行的表。所以也许使用柱状数据仓库对我们来说太过分了。

有人知道使用 Microsoft SQL Server 作为星型模式的报告数据库（数据仓库）的优缺点吗？

我们还需要处理实时或接近实时的更新。

我正在使用go-mssql驱动程序将数据写入 Azure SQL 数据仓库。

使用批量复制功能写入一些数据时，我会随机引发恐慌（至少我无法可靠地复制此问题）。

错误是

有谁知道发生了什么？

我认为这可能与并发有关，但通过只运行一个 go 例程（最初是 3 个 go 例程）排除了它。

出于某种原因，这似乎发生在某些批量插入而不是全部。

它也与批量大小无关。我有一批 1500 行经过，而一批 1161 行因这种恐慌而失败。

编辑：

我通过将我的插入手动批处理成 1000 个来解决这个问题。

然而，这不是一个非常实用的解决方案，因为吞吐量将变得非常有限。

编码 ：

已经为此提出了一个 github 问题，并通过一个测试节目来解决该问题。

https://github.com/denisenkom/go-mssqldb/issues/370

需要你的帮助

我已经在我的电脑上成功安装了 VS2017。

但是当我尝试安装 SQL Server 数据工具 15.6.0 或 15.5.1 时，它给了我如下错误： 安装失败 无法打开配置注册表项（0x800703F3）

谢谢大家！！

假设我想在 DWH 系统中实现 SCD type2 历史维度表（或者我应该说具有 SCD type2 属性的表），目前我一直将其实现为带有natural key+ primary surrogate key+ datefrom+ dateto+iscurrent附加列的“常用表”。

在哪里

• primary surrogate key为了在所有事实表中将其用作外键和
• datefromdateto需要++列iscurrent来跟踪历史记录。

现在我想在事实维DWH设计中使用系统版本的时态表，但是MSDN说：

时态表必须定义主键才能关联当前表和历史表之间的记录，而历史表不能定义主键。

所以看起来我应该使用一个primary surrogate key“动态”生成的视图或另一个 ETL 过程，但我不喜欢这两个想法......

也许还有另一种方式？