hadoop - 如何将 hdfs 中的现有文本数据转换为 Avro？

Question

我有一个以文本格式存储的 hdfs 表，所以现在我需要在其间添加新列。所以我想在 avro 中加载新列，因为 Avro 支持模式演变，但现在以前的数据仍然是文本格式。

Answer 1

如果您已经有一个表，您可以将其直接从配置单元加载到 avro 表中，如果没有，您可以为该文本文件创建配置单元表并将其加载到 avro 表。就像是

create table test(fields type)  row format delimited fields terminated by ',' stored as textile location 'textfilepath';
create table avrotbl like test stored as avrofile;
insert into abrotbl select * from test;