提供了一个分区的 fs 结构,如下所示:
logs
└── log_type
└── 2013
├── 07
│ ├── 28
│ │ ├── host1
│ │ │ └── log_file_1.csv
│ │ └── host2
│ │ ├── log_file_1.csv
│ │ └── log_file_2.csv
│ └── 29
│ ├── host1
│ │ └── log_file_1.csv
│ └── host2
│ └── log_file_1.csv
└── 08
我一直在尝试在 Impala 中创建一个外部表:
create external table log_type (
field1 string,
field2 string,
...
)
row format delimited fields terminated by '|' location '/logs/log_type/2013/08';
我希望 Impala 递归到子目录并加载所有 csv 文件;但没有雪茄。不会引发错误,但不会将数据加载到表中。
不同的球体喜欢/logs/log_type/2013/08/*/*
或/logs/log_type/2013/08/*/*/*
不工作。
有没有办法做到这一点?或者我应该重组 fs - 对此有何建议?