0

问题

Hive 内置了对 AVRO 的支持。使用 Azure Synapse（又名 PolyBase 的托管版本）我可以使用 Hive 的内置 AVRO SerDe 来查询 ADL Gen2 存储中的数据吗？

设想

我在一家拥有大量FIX 交易格式数据的金融公司工作。我正在构建一个尖峰，以尝试从 FIX 文件（历史数据、多年数据）和通过 Azure 事件中心（AEH，我相信它将以 AVRO 格式捕获到 ADL Gen2 转发的 FIX 消息）中查询原始 FIX 数据，一个 AVRO每个 FIX 交易消息的行）。我从“just FIX”的历史文件开始。

不祥的报价

来自Synapse外部表文档：

本文前面列出了支持的 SerDe 方法与 RCFiles 的组合，以及支持的数据压缩方法。并非所有组合都受支持。

4

1 回答 1

0

我的团队发现了一篇关于如何使用 Hive 和 Impala 查询 FIX 数据的旧帖子，我正在尝试弄清楚如何将其应用于 Azure Synapse 或 Azure Notebooks。 

CREATE EXTERNAL TABLE fix_map
 (tag MAP< INT, STRING>)
 ROW FORMAT DELIMITED COLLECTION ITEMS
 TERMINATED BY ‘1’
 FIELDS TERMINATED BY ‘2’
 MAP KEYS TERMINATED BY ‘=’
 LOCATION ‘/user/jeremy/fix/’;

CREATE VIEW fix_view AS
    tag[38] AS OrderQty
  , tag[55] AS Symbol
  , tag[60] AS TransactTime
    fix_map;
    OrderQty
  , Symbol
  , TransactTime
FROM fix_view;

SELECT
    OrderQty
  , `Symbol`
  , TransactTime
FROM fix;
于 2020-03-13T16:03:16.240 回答