hive - 在 hive 中向外部表添加分区需要很多时间

Question

我想知道将分区添加到外部表的最佳方法是什么。我在 Hive 的 S3 上有一个外部表，分区为 vehicle=/date=/hr=

---

现在可以在一天中的任何时间添加新车，并且会有车辆在一天中的几个小时或几天内没有数据。

几个可能的解决方案 - msck reapir 表：这需要很多时间 - 通过脚本添加分区：我可能不知道何时创建了新车辆或车辆没有哪个小时的数据

一般人是怎么解决给外部表加分区这个问题的

Answer 1

msck reapir table是这样做的正确方法。如果运行速度太慢，请尝试在修复表之前关闭 stats autogather：

set hive.stats.autogather=false;

您可以在恢复分区后再次启用它。

很可能您遇到了HIVE-18743或相关错误。就我而言，这有帮助。