问题标签 [polybase]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
1430 浏览

sql-server - Azure SQL DW 外部文件格式使用 Polybase 将空字符串视为 NULL

我正在使用外部表将数据从存储在 blob 中的 csv 加载到 Azure SQL 数据仓库中的表中。csv 使用字符串分隔符(双引号),空字符串表示为 2 个双引号 ("")。

我希望空列在表中被视为 NULL。我使用的外部文件格式设置为 USE_TYPE_DEFAULT = FALSE,但这似乎不起作用,因为空列作为空字符串导入。只有当列是字符串时才会发生这种情况,数字列被正确转换为 NULL。

我还导入了一个不同的 csv,它没有使用不同的外部文件格式的字符串分隔符,并且这些空列被导入为 NULL。所以看起来它与 STRING_DELIMITER 选项有关。

CSV:

外部文件格式的代码:

使用外部文件格式的表格代码:

查询外部表时的结果:

有人可以帮我解释发生了什么或我做错了什么吗?

0 投票
0 回答
36 浏览

azure - 来自二进制 blob 数据的 Azure PolyBase 外部表?

我在 Azure 存储容器中存储了数百万个图像 blob。blob 有一个可预测的名称([唯一键].jpg。)

示例:1234.jpg、230.jpg 等。

如果可能,如何使用可以使用 Sql 语句检索的数据创建外部表?

Select PK, IMAGE_CONTENT from external_blah

这给了我以下信息:

PK IMAGE_CONTENT

1234【1234.jpg的内容】

230【230.jpg的内容】

0 投票
2 回答
1467 浏览

azure - 在外部表中选择几列

我有一个场景,我有一个包含 30 列的文件(位于 ADLS 中),但是当我创建外部表时..我只想选择 5 列。

我的问题是:是否可以在创建外部表时选择性地选择列。

现在创建外部表是可行的..但是当我在该外部表上选择查询时..它会引发异常

HadoopExecutionException:行中的列太多

提前致谢。

0 投票
0 回答
3105 浏览

sql - 在sql server中创建外部表

我使用以下代码在 toad 中创建了一个外部表,它正在工作。

但现在我想在 SQL Server 中创建一个外部表。我在网上搜索并发现了一些我无法理解的 polybase 术语。现在我正在使用 SQL Server 2014。我可以在 SQL Server 2014 中创建外部表吗?

0 投票
1 回答
819 浏览

sql - 配置 SQL PolyBase 以访问 MongoDB 中的外部数据 - 问题

我尝试使用 Polybase 将 SQL 服务器与 MongoDB 连接,但我未能为此创建外部数据源。请帮忙 ...

我使用以下代码:

我期待创建名为“external_DS_MongoDB”的数据源,但我在 SQL 中遇到以下错误:

消息 105007,级别 16,状态 1,第 26 行输入 URI 的方案不受支持。请修改以下方案并重试:'mongodb'

有人可以给我建议吗?

谢谢。

0 投票
1 回答
1331 浏览

azure - 从 Azure BLOB 存储在 Azure SQL DW 中创建外部表

我正在 Azure SQL DW 中创建数据源,以便使用 BLOB 存储数据创建外部表,但在创建数据源时出现错误。我是这个 polybase 环境的新手,所以请分享你的想法。

我正在尝试在外部表代码中调用数据源。

外部表

我不确定我还需要在这里传递哪个 KEY。我需要使用 BLOB 存储密钥或其他东西。

数据源

错误代码

期待

我需要使用 BLOB 存储帐户在 azure sql 数据仓库中创建外部表。

0 投票
1 回答
596 浏览

azure - Polybase 中的增量负载

我为 PolyBase 创建了一个外部表,用于将数据从 BLOB 存储加载到 Azure SQL 数据仓库。我有以下关于文件加载的问题。

1) 如果数据有增量增长,那么 PolyBase 将如何工作。如果有每日示例文件,例如

那么我们是否需要每次都创建删除并重新创建外部表。如果不是,我该如何完成这项工作

2) 我可以在 PolyBase Azure BLOB 存储中编写 UNIX 脚本吗?

请分享您对这个问题的看法。

0 投票
1 回答
317 浏览

azure - 在 Polybase 中创建视图

我正在尝试通过 polybase 加载多个文件,并在创建视图时向我抛出错误。

我能够成功创建数据源和外部表而没有任何问题。

代码错误

代码

我正在尝试使用上述视图创建过程以动态使用多个文件加载数据。

0 投票
2 回答
279 浏览

sql-server - Polybase:无法从 SQL Server 连接到 Azure Blob

我正在通过连接到 CSV 来尝试 SQL-Server 中的新 Polybase-Feature。但是我无法连接到 Azure Blob 存储:

我总是收到一条错误消息:

'HADOOP' 附近的语法不正确

我的 SQL Server 在 Azure VM 上运行,但是我不确定应该运行哪些服务: 在此处输入图像描述

我还检查了 TCP/IP 是否已启用。 在此处输入图像描述

我还尝试按照这篇文章中的建议使用 SSDT 和 dsql 文件- 但错误并没有消失。

0 投票
2 回答
793 浏览

azure - 通过 Polybase 加载特殊字符

我正在尝试加载单引号字符串分隔的文件,并且我能够加载数据,但包含以下格式的字符串的某些记录除外。如何在 SQL 数据仓库中使用 PolyBase 加载以下值。任何输入都受到高度赞赏。

例如:

外部文件格式: