hive - 具有多个位置的 Athena 表

Question

我的数据分布在多个目录和这些目录中的多个制表符分隔的文件中。一般结构如下所示：

s3://bucket_name/directory/{year}{month}/{iso_2}/{year}{month}{day}_table.bcp.gz

其中{year}是 4 位数的年份，{month}是 2 位数的月份，{day}是 2 位数的日期，{iso_2}是 ISO2 国家代码。

如何在 Athena 中将其设置为表格？

Answer 1

Athena 使用 Hive DDL，所以你只需要运行一个普通的 Hive create 语句：

CREATE EXTERNAL TABLE table_name(
  col_1 string,
...
  col_n string)
PARTITIONED BY (
   year_month string,
   iso_2 string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION 's3://bucket_name/directory/';

然后通过运行将这些目录注册为所需表的新分区MSCK REPAIR TABLE table_name。如果由于某种原因失败（有时在 Athena 中会失败），您需要为现有目录运行所有添加分区语句：

ALTER TABLE table_name ADD PARTITION 
     (year_month=201601,iso=US) LOCATION 's3://bucket_name/directory/201601/US/'; 
ALTER TABLE table_name ADD PARTITION 
     (year_month=201602,iso=US) LOCATION 's3://bucket_name/directory/201602/US/';
ALTER TABLE table_name ADD PARTITION 
     (year_month=201601,iso=GB) LOCATION 's3://bucket_name/directory/201601/GB/';
etc.