amazon-athena - Amazon Athena：用 | 分隔的分割线

Question

我有日志文件，其中每一行的格式为：

key1=val1|key2=val2|key3=val3

如何让 Amazon Athena 将其拆分为列key1，key2并且key3？

Answer 1

您可以基于 Regex 创建一个表。这样您就可以为您的表定义解析方案。

对于您的示例，DDL 看起来像这样。

CREATE EXTERNAL TABLE IF NOT EXISTS test (
  key1 string,
  key2 string,
  key3 string
) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.RegexSerDe'
WITH SERDEPROPERTIES (
 "input.regex" = "^key1=([^\\|]+)\\|key2=([^\\|]+)\\|key3=([^\\|]+)$"
) LOCATION 's3://njams-data/test/';