0

我有一些数据以 avro 格式 v1 出现并存储在 HDFS 的分区 dt=yyyymmdd 下。
现在数据用两个版本维护，v1和v2在同一个分区下。
为两个不同版本维护一个配置单元表是否可行？

4

1 回答 1

1

Avro 定义了一个模式演化协议

例如，如果 v2 只是简单地添加了一个具有默认值的字段，然后使用该模式更新表，它可以读取整个旧数据，因为它只会在缺少默认值的地方返回默认值。

如果您破坏了兼容性，则必须单独制作一个表，然后将两者合并以获得一致的结果集

于 2018-02-13T14:46:04.127 回答