2

目前，我在 Prod 中有一个分区 ORC“托管”（错误地创建为内部优先）Hive 表，其中包含按年、月、日（~16GB 数据）分区的至少 100 天的数据。

这张表大约有160列。现在我的要求是在这张表的中间添加一列，并且仍然能够查询旧数据（分区文件）。如果新添加的列显示旧数据为空就可以了。

到目前为止我做了什么？

1）首先使用下面将表转换为外部以保留数据文件，然后再删除

alter table <table_name> SET TBLPROPERTIES('EXTERNAL'='TRUE');

2）删除并重新创建中间有新列的表，然后更改表以添加分区文件

但是我无法在娱乐之后阅读表格。我收到此错误消息

[Simba][HiveJDBCDriver](500312) Error in fetching data rows: *org.apache.hive.service.cli.HiveSQLException:java.io.IOException: java.io.IOException: ORC does not support type conversion from file type array<string> (87) to reader type int (87):33:32;

还有其他方法可以做到这一点吗？

4

1 回答 1

4

无需删除并重新创建表。只需使用以下语句。

ALTER TABLE default.test_table ADD columns (column1 string,column2 string) CASCADE;

ALTER TABLE CHANGE COLUMN with CASCADE 命令更改表元数据的列，并将相同的更改级联到所有分区元数据。

PS - 这会将新列添加到现有列的末尾但在分区列之前。不幸的是，ORC 目前不支持在中间添加列。

希望有帮助！

于 2018-02-22T06:30:50.243 回答