问题标签 [polybase]

我有以下情况。维度表（例如 PRODUCT）被加载到 SQL Server 2016 中。事实表（例如 ORDER_ITEM）被加载到 Hadoop 中。我想跨 PRODUCT 和 ORDER_ITEM 运行聚合查询，例如

是什么行为。(1) Polybase 是否将 PRODUCT 维度广播到 Hadoop 中执行连接和聚合并返回结果 (2) Polybase 是否将 ORDER_ITEM 表广播到 SQL Server 并在那里执行连接和聚合？

可能是（2），但如果有人尝试过，请告诉我

我们可以在一个数据库中同时拥有普通表和外部表，它们之间有主键-外键关系吗？外部表由 blob 存储支持，文件格式为 parquet。如果我们可以建立关系，如果有人直接从 blob 访问 parquet 文件并更新它会怎样？

有没有人使用带有 adl 的 polybase 进行基准测试，我想知道我是否有一个包含 400 万行的数据文件，polybase 是否有助于将这些行提取到数据仓库。任何人都可以发布任何我可以了解这些事情的文章。

即使外部表语句中提到的位置路径不存在，是否仍然可以在 Azure SQL DWH 中创建外部表。

例如：- location '/src/temp' 仍然不存在我希望创建外部表。

我使用以下查询在 SQL 2016 中使用 polybase 创建了一个外部表。

将数据从本地表插入到外部表中，并在azure容器中成功生成parquet文件。但是在读取parquet文件时，列名显示为col-0，col-1。有没有办法在其中添加原始列名外部表中给出的镶木地板文件。 列名

使用 polybase 创建外部表在本地环境中是成功的，但在我们使用代理服务器访问 Internet 的生产环境中是不成功的。当尝试在生产环境中创建外部表时，出现以下错误“外部表访问因内部错误而失败：'调用 HdfsBridge_IsDirExist 时引发 Java 异常：错误 [com.microsoft.azure.storage.StorageException：发生未知故障：连接超时：连接]在访问外部文件时发生。'”我尝试使用 IE 启用代理设置。有没有办法为 SQL 启用代理以创建可以建立与 Azure blob 的连接的外部表。

以下是我们的要求： - 我们需要运行 Polybase 查询以在 Azure blob 上创建镶木地板文件

• 我们在数据库服务器上没有直接的互联网连接。

• 我们需要使用代理从外部连接到internat。

• 在 app.config 文件中启用代理后，我们可以通过 .Net Azure SDK 创建容器。

• 但是我们无法从 SQL 服务器运行外部表创建查询，并且我们收到以下错误。

“由于内部错误，EXTERNAL TABLE 访问失败：'调用 HdfsBridge_IsDirExist 时引发 Java 异常：错误 [com.microsoft.azure.storage.StorageException：发生未知故障：连接超时：连接] 访问外部文件时发生。' "

如果此错误是由于代理问题引起的，我们如何使用 azure 引用为外部表创建提供代理。

例如：示例外部表创建如下——EXTERNAL TABLE

----- 数据库范围凭证

- -数据源

我在 blob 存储帐户中有数据，该帐户按以下结构组织：

/logs/YYYY/mm/dd/HH

假设有几年的数据，我想将特定时间段（或多个时间段）中的数据提取到 Azure 数据仓库表中。

以下内容在 Polybase 检索数据的方式方面有何不同：

1) 创建表作为从指向根文件夹 (/logs) 的外部表中选择的表，其中的 where 子句考虑了特定时间值的值范围（例如 x 和 y 之间的时间戳）。

2) 来自外部表联合的 CTAS，它指向构成我想要的特定时间段的各个文件夹。

我假设上面的 2) 会更快，因为 Polybase 不必查看任何不需要的文件夹？这个对吗？

如果是这样，有没有办法从指向根文件夹的外部表中进行选择，但以某种方式只选择特定时间段的文件？

也许有一些文档可以解释这一点？

我在将 prem 表的给定副本复制到 ADW 时遇到错误，我检查了数据类型和所有内容，这里看起来都不错，但我不知道这里发生了什么破坏或发生了什么，所以我可以弄清楚出来，请看看下面的错误，我也没有在这里使用 polybase，因为在 prem sql server 上有文本数据类型，所以对于那些我使用 varchar(max) 方法的人，因为 polybase 不适用于最大数据类型。

错误：

复制活动在 Sink:adatawarehouse.database.windows.net 端遇到用户错误：'Type=System.OverflowException,Message=Array dimensions exceeded supported range.,Source=Microsoft.DataTransfer.Common,'。

我已经定义了我的外部表定义，但是我有一个字段理论上可以包含一个我不关心的很长的字符串。

是否可以将 polybase 设置为截断超过指定长度的长字段，而不是出错？

我在天蓝色数据湖存储中有一个文件。我正在使用 polybase 将数据从数据湖存储移动到数据仓库。我遵循了这里提到的所有步骤。

假设我创建了外部表作为 External_Emp，它有 3 列：ID、Name、Dept。

当我运行以下查询时：

然后，它向我显示所有正确的记录。但是当我选择一个特定的列/列时，它会连续显示列名。例如，如果我运行以下查询：

然后输出是：

而输出应该是：

同样，当我运行查询时：

然后它显示以下输出：

而输出应该是：

为什么它在单独的行中显示列名？那是一个错误吗？

我在 azure 数据湖中多次检查了 csv 文件中的数据。它没有重复的列名。谢谢。