1

我的 Hadoop 集群在 11:00 对每个数据进行批处理作业。

该作业创建配置单元表分区（例如p_date = 201702，p_domain = 0）并将rdbms数据导入配置单元表分区，如ETL ....（配置单元表不是外部表）

但是作业失败了，我删除了一些 hdfs 文件（分区位置 => p_date=20170228,p_domain=0）以进行重新处理。

这是我的错误，我只是在直线处输入查询删除分区...

当我以这种方式查询“select * from table_name where p_date=20170228,p_domain=0”时，我联系了一个挂起，但是“select * from table_name where p_date=20170228,p_domain=6”是成功的。

我找不到错误日志并且没有出现控制台消息

我怎么解决这个问题？

我希望你能理解我缺乏英语。

4

1 回答 1

1

您不应该以这种方式删除 Hive 表中的分区。有一个特殊的命令可以做到这一点：

ALTER TABLE table_name DROP IF EXISTS PARTITION(partitioncolumn='somevalue');

从 HDFS 中删除文件是不够的。您需要从 Metastore 中清除数据。为此，您需要连接到关系数据库并从 MetaStore 数据库中与分区相关的表中删除数据。

mysql

mysql> use hive;

mysql> SELECT PART_ID PARTITIONS WHERE PART_NAME like '%p_date=20170228,p_domain=0%'

+---------+-------------+------------------+--------------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME          | SD_ID | TBL_ID |
+---------+-------------+------------------+--------------------+-------+--------+
|       7 |  1487237959 |                0 | partition name     |   336 |    329 |
+---------+-------------+------------------+--------------------+-------+--------+


mysql> DELETE FROM PARTITIONS WHERE PART_ID=7;

mysql> DELETE FROM PARTITION_KEY_VALS WHERE PART_ID=7;

mysql> DELETE FROM PARTITION_PARAMS WHERE PART_ID=7;

在此 Hive 之后应该停止在您的查询中使用此分区。

于 2017-03-01T13:10:12.233 回答