1

我需要将 AWS Athena 服务与现有的 Hive Metastore(不是 AWS Glue)集成。

请告诉我如何将 Athena 连接到 Hive Metastore。

4

3 回答 3

5

Athena 仅适用于其自己的元存储或相关的 AWS Glue 元存储。它不适用于外部元存储。

但是,您可以在同一个底层 S3 存储上设置多个表或数据库。因此,如果您使用外部元存储将数据写入 S3,则可以在 Athena 的元存储中设置适当的数据库和表定义后使用 Athena 查询这些文件。

于 2018-03-24T20:43:27.127 回答
1

另一种方法是使用命令将配置单元元数据导出到文件

command="hive -f "+schema+"_tables.hql -S >> "+schema+".output"

其中 schema= 被导出并将表定义导入到 Athena 使用 python 中的 groovy。

可以在链接中找到设置 groovy 的说明

https://github.com/aws-samples/aws-big-data-blog/tree/master/aws-blog-athena-importing-hive-metastores

于 2018-10-04T02:31:41.887 回答
1

Amazon Athena 刚刚发布了一项新功能(现在处于预览状态),允许您将 Athena 连接到您的 Apache Hive Metastore。你可以在这里看到公告。Athena文档中提供了添加 Hive Metastore 连接器的详细步骤。

于 2019-12-16T23:49:30.117 回答