问题标签 [polybase]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
sql-server - 在 SQL 2019 中创建外部数据源时无法生成 SSPI 上下文
我正在尝试通过 SQL Server 2019 中的 ODBC 连接器为 PolyBase 创建外部数据源,但出现错误:
链接服务器“(null)”的 OLE DB 提供程序“MSOLEDBSQL”返回消息“无法生成 SSPI 上下文”。
消息 -2146893042,第 16 级,状态 1,第 11 行
SQL Server 网络接口:安全包中没有可用的凭据
我正在使用 SSMS 18.4 并且正在运行以下命令:
我做了相当多的阅读,似乎错误可能是很多事情之一。但我真的找不到任何与外部数据源相关的东西。
任何建议或猜测将不胜感激。
- 我在 Windows 10 上运行 SQL 2019 Developer (RTM) 64 位
- 我有一个成功连接的名为 SAP 的 ODBC 条目
- my_creds 已使用 SAP 用户名和密码在 SQL 中创建。
- 我的 SQL 2019 PolyBase 引擎服务在网络服务下运行(与 PolyBase 数据移动服务相同)。
- PolyBase 服务已启用 TCP/IP。
sql-server - 使用 polybase 和 Azure blob 存储指向特定位置
我有一个带有 2 个 blob 容器的 azure 存储帐户 tmmdevstorage - 存储帐户 customerfiles - blob container1 customerfileszip - blob container2
我设置了这些以存储压缩和未压缩的相同数据,以测试性能。
我的问题是让我的外部表指向这些位置,也许这里有人可以进一步解释这对我来说是如何工作的。我的创建外部表语句如下所示:
WITH (DATA_SOURCE = [AzureStorage],LOCATION = N'/',FILE_FORMAT = [TextFileFormat],REJECT_TYPE = VALUE,REJECT_VALUE = 0)
这会将我带到我相信的根文件夹,它确实返回了预期的记录。如果我想指定我的 blob 容器之一,它会是什么样子:
这不返回任何记录
polybase - POLYBASE ODBC 获取未实现的可选功能
在尝试使用 ODBC 通过 Polybase 连接到 sybase 数据库时,我总是收到以下错误:
105082;通用 ODBC 错误:[SAP][ASE ODBC 驱动程序]可选功能未实现。
有没有办法获得更详细的日志,或者我错过了什么?
sql-server - 尝试在 linux mssql server 2019 中运行 polybase 查询时,是什么导致“尚未连接远程 Java 桥”?
在 Centos 7 vm 上,我们按照此处的说明安装了 mssql server 2019:https ://docs.microsoft.com/en-us/sql/linux/quickstart-install-connect-red-hat?view=sql-server- linux-ver15
然后我们按照此处的说明安装了 mssql-server-polybase:https ://docs.microsoft.com/en-us/sql/relational-databases/polybase/polybase-linux-setup?view=sql-server-ver15
对 polybase 运行查询后,我们收到以下错误消息:
这是我们尝试运行的查询:
该查询在安装了 mssql-server 2017 的 Windows 机器上运行没有问题,因此我认为查询本身没有问题。
收到上述错误后,我列出了其他可用的 mssql-server 包,并找到了一个 mssql-server-polybase-hadoop 包,其中还安装了另外两个包;mssql-zulu-jre-11 和 mssql-zulu-jre-8。我们安装了软件包并重新启动了 mssql-server,但是,在尝试连接时,我们仍然收到“尚未连接远程 Java 桥”。
是否需要任何其他包或配置来创建网桥以便此查询有效?
external-tables - 在 Azure Synapse Analytics(Azure SQL 数据仓库)中创建外部数据源到 Oracle
我正在尝试将 Azure Synapse Analytics(Azure SQL 数据仓库)中的外部数据源创建到 Oracle 外部数据库。我在 SSMS 中使用以下代码来执行此操作:
我收到以下错误:
我从下面了解到 TYPE 不是 Oracle 数据库的必需选项。
不知道问题出在哪里,当 MS SQL Server 2019 中已经提供此功能时,Azure Synapse Analytics (Azure DW) 是否仍不支持此功能?欢迎任何想法。
export - 容器中的 Polybase SQL Server 2019 到 SQL Server 2019 OnPremise - 插入外部表不起作用
我在启用了 polybase 的 Docker 容器中安装了 SQL Server 2019,并且我正在连接到启用了 polybase 的 SQL Server 2019 On Premise。我在 Docker -SQL Server 中创建了外部表。
我还允许 polybase 导出,重新启动本地 sql server 2019。
选择工作正常。但是当我尝试插入
错误:
在第 53 行开始执行查询
消息 46519,级别 16,状态 16,行
DML 操作不支持外部表。
总执行时间:00:00:00.107
avro - Azure Synapse 可以查询 AVRO 吗?(EventHubs 捕获文件)
问题
Hive 内置了对 AVRO 的支持。使用 Azure Synapse(又名 PolyBase 的托管版本)我可以使用 Hive 的内置 AVRO SerDe 来查询 ADL Gen2 存储中的数据吗?
设想
我在一家拥有大量FIX 交易格式数据的金融公司工作。我正在构建一个尖峰,以尝试从 FIX 文件(历史数据、多年数据)和通过 Azure 事件中心(AEH,我相信它将以 AVRO 格式捕获到 ADL Gen2 转发的 FIX 消息)中查询原始 FIX 数据,一个 AVRO每个 FIX 交易消息的行)。我从“just FIX”的历史文件开始。
不祥的报价
来自Synapse外部表文档:
本文前面列出了支持的 SerDe 方法与 RCFiles 的组合,以及支持的数据压缩方法。并非所有组合都受支持。
sql-server - Polybase 连接本地 CSV 文件
我无法从 SQL Server 2019 Polybase 访问本地 CSV 文件。这是一个简单的 3 列文本文件。我还创建了一个本地系统 DSN(来自 ODBC32 UI)。
我从这里得到了示例代码。但是,链接(cdata)中的驱动程序不是免费的。任何解决此问题的帮助将不胜感激。