4

提供了一个分区的 fs 结构,如下所示:

logs
└── log_type
    └── 2013
        ├── 07
        │   ├── 28
        │   │   ├── host1
        │   │   │   └── log_file_1.csv
        │   │   └── host2
        │   │       ├── log_file_1.csv
        │   │       └── log_file_2.csv
        │   └── 29
        │       ├── host1
        │       │   └── log_file_1.csv
        │       └── host2
        │           └── log_file_1.csv
        └── 08

我一直在尝试在 Impala 中创建一个外部表:

create external table log_type (
    field1    string,
    field2    string,
    ...
)
row format delimited fields terminated by '|' location '/logs/log_type/2013/08';

我希望 Impala 递归到子目录并加载所有 csv 文件;但没有雪茄。不会引发错误,但不会将数据加载到表中。

不同的球体喜欢/logs/log_type/2013/08/*/*/logs/log_type/2013/08/*/*/*不工作。

有没有办法做到这一点?或者我应该重组 fs - 对此有何建议?

4

3 回答 3

9

如果您仍在寻找答案。您需要手动注册每个单独的分区。

有关详细信息,请参见此处注册外部表

您的表架构需要调整

create external table log_type (
        field1    string,
        field2    string,
...)
  partitioned by (year int, month int, day int, host string)
  row format delimited fields terminated by '|';

更改架构后,包括年、月、日和主机,您必须递归地将每个分区添加到表中。

像这样的东西

ALTER TABLE log_type ADD PARTITION (year=2013, month=07, day=28, host="host1")
    LOCATION '/logs/log_type/2013/07/28/host1';

之后您需要在 impala 中刷新表格。

invalidate log_type;
refresh log_type;
于 2014-01-24T11:00:51.490 回答
0

使用较新版本的 impala,您可以使用

ALTER TABLE name RECOVER PARTITIONS

命令。更多信息

您需要注意的是,分区字段必须小写,因为目录结构区分大小写,但 impala 查询不区分大小写。

于 2019-10-25T10:47:35.670 回答
0

另一种方法可能是使用LOAD DATAImpala 中的函数。如果您的数据是 SequenceFile 或其他不太适合 Impala 的格式(Impala 文件格式),您可以像 Joey 上面那样创建外部表,但ALTER TABLE您可以执行类似的操作

LOAD DATA INPATH '/logs/log_type/2013/07/28/host1/log_file_1.csv' INTO TABLE log_type PARTITION (year=2013, month=07, day=28, host=host1);
于 2016-08-30T22:00:34.827 回答