问题标签 [azure-sql-data-warehouse]

我正在尝试为 Azure blob 中的数据创建一个外部表，并且我使用了流脚本

当我执行此代码时，我在第 10 行，第 13 列收到以下错误解析错误：''/samplefile/'' 附近的语法不正确。如何解决这个谢谢注意：我已经成功创建了所有先前的东西来创建外部表

我有一个 Azure 数据工厂 V2 管道，其中包含多个并行运行的复制数据活动。

我有一个 Pause DW web 挂钩在每次运行后暂停 Azure 数据仓库。此活动设置为在管道中运行时间最长的活动之一完成后运行。管道设置为每晚触发。

不幸的是，运行复制数据活动所需的时间各不相同，因为它取决于业务中已处理的事务，而这些事务每天都在变化。这意味着，我无法预测并行运行的哪些活动将最后完成。这意味着，通常整个管道都会失败，因为 DW 在某些活动开始之前已经暂停。

只有在管道中的所有其他活动都完成后才运行活动的最佳方式是什么？

我试图像这样向管道添加一个 If 活动：

但是，我在验证过程中遇到了这个错误：

If Condition1 活动'Copy small tables'的输出不能被引用，因为它没有输出。

有谁知道我可以如何向前推进？

谢谢

我每天都会收到一个如下所示的文本文件：

我正在尝试使用 BCP 将其导入 Azure SQL Server 仓库。

被加载的表的定义如下：

我正在使用如下所示的 fmt 文件：

我对此的日期时间元素有问题 - 我收到以下错误：

有没有办法定义日期时间信息是什么，即我可以给 BCP 一个YYYY-mm-DD\THH:MM:SS样式字符串，以便它可以正确解释我的日期吗？

请限制使用 BCP 的答案。

当我将数据从本地 SQL Server 迁移到 Azure Data Lake 并且尝试用于另一个 Azure 数据工厂时，我已经安装了 Microsoft Integration Runtime 配置管理器，但我找不到空间来为数据添加新密钥工厂。怎么做。提前致谢

我正在处理存储在 Amazon S3 上的镶木地板文件。需要提取这些文件并将其中的数据加载到 Azure 数据仓库中。

我的计划是：

Amazon S3 -> 使用 SAP BODS 将 parquet 文件移动到 Azure Blob -> 在这些 parquet 文件上创建外部表 -> 暂存 -> Fact/ Dim 表

现在的问题是，在其中一个镶木地板文件中有一列存储为array<string>. 我可以使用该列的 varchar 数据类型在其上创建外部表，但如果我对该外部表执行任何 sql 查询操作（即 Select），则会引发以下错误。

消息 106000，第 16 层，状态 1，第 3 行

HdfsBridge::recordReaderFillBuffer - 填充记录读取器缓冲区时遇到意外错误：ClassCastException: optional group status (LIST) {

重复组包{

}

} 不是原始的

我尝试了不同的数据类型，但无法在该外部表上运行选择查询。

如果还有其他选择，请告诉我。

谢谢

我已经安装了：

• Ubuntu (18.04)
• 蟒蛇（3.6.8）
• msodbcsql17（用于 SQL Server 的 Microsoft ODBC 驱动程序 17）
• SQLAlchemy (1.3.5)
• 熊猫 (0.24.2)

我只想使用带有 Azure SQL 数据仓库的 SQLAlchemy 创建概念证明。但是，当我尝试在使用代码映射到客户视图表的客户模型上运行查询时：

抛出以下异常：

请记住，我可以将 SQLAlchemy 的引擎与 pandas 一起使用并运行本机 SQL 查询，例如：

但是，我需要使用 SQLAlchemy 的高级查询 API：

任何帮助将非常感激。

我尝试创建将当前数据仓库与 Azure SQL Server 连接起来的外部数据源。

我收到了这个错误信息：

任何人都可以帮助我吗？这将是什么类型？我要连接的 SQL Server 是 Azure SQL Server。

我在实体框架中有一个简单的表插入，用于将记录添加到 Azure SQL 数据仓库表。我在 context.SaveChanges() 上收到此错误 - SQLException：必须声明标量变量“@@ROWCOUNT

读取表格工作得很好，只有保存到表格失败。

context.Users.Add(user); context.SaveChanges(); -> 在这里失败。

预期结果 - 记录应插入表中 实际结果 - Microsoft.EntityFrameworkCore.DbUpdateException: '更新条目时出错。有关详细信息，请参阅内部异常。内部异常 SqlException：必须声明标量变量“@@ROWCOUNT”。

使用来自源数据仓库的复制活动的数据工厂管道 -> 暂存 blob 存储 -> 接收器数据仓库。

从源到 blob 的复制按预期工作（复制行）。从 staging 到 sink 的复制失败 - 复制了 0 行

禁用 Polybase ，并使用批量插入工作。

我希望来自 blob 的数据进入接收器，但没有复制任何行。

编辑1：检查数据仓库（接收器）建立了一个连接，我可以在一秒钟内观察从blob存储创建的外部表等，但没有数据被复制。

我们可以在架构级别的 Azure SQL 数据仓库中创建数据库防火墙规则吗？

我需要在同一数据库中基于模式限制用户。