azure-data-lake - 使用 Azure Data Lake 的 Presto 查询引擎

Question

我需要部署一个 presto 服务器，它可以帮助我以 Avro 文件格式查询存储在 ADLS 中的数据。我已经阅读了本教程，似乎 Hive 被用作 presto 中的目录/连接器来从 ADLS 查询。我可以绕过 Hive 并使用任何连接器从 ADLS 中提取数据吗？

Answer 1

我可以绕过 Hive 并使用任何连接器从 ADLS 中提取数据吗？

不。

Hive 在这里扮演两个角色：

• 存储元数据。它包含以下信息：
  • 架构和表名
  • 列
  • 数据格式
  • 数据位置
• 执行
  • 它能够从（HDFS）分布式文件系统（如 HDFS、S3、ADLS）读取数据
  • 它告诉我们如何分配执行。