有一个 Hadoop 集群和一个随附的 Hive Metastore,用于描述 S3 上各种数据的位置和架构。我无权访问集群,但可以访问 MySQL Metastore。
我想以表的形式访问 S3 上的数据,但考虑到我不频繁的访问模式,Amazon Athena 比启动 EMR 集群并指向 Hive Metastore 更有意义。问题是我需要CREATE EXTERNAL TABLE
在 Athena 中查询数据。
我知道 Metastore 具有生成该CREATE TABLE
查询所需的所有数据,我需要将这些数据传递给 Athena。
是否有任何现有的工具或代码可以为我生成此查询?我应该CREATE TABLE
用 SQL 还是 Python 生成语句?