hadoop - 带分区的 Hadoop distcp

Question

我正在尝试使用相同的配置（比如 A 到 B）从一个系统到另一个系统进行 distcp。但是我在 A 中创建的分区在从 A 到 B 的 distcp 之后没有出现在 B 中。我必须在 B 中手动创建分区。

我已经完成了设置动态分区参数，但它只是添加了分区，这是另一回事。请让我知道无论如何都可以解决这个问题。

Answer 1

您需要在 distcp 之后修复系统 B（复制数据的位置）上的表，执行以下配置单元命令

SET hive.mapred.mode=unstrict;
MSCK REPAIR TABLE <DB_NAME>.<TABLE_NAME>;