hive - 使用 HiveQL 进行重复数据删除

Question

我有一个带有字段'a'（int），'b'（string），'c'（bigint），'d'（bigint）和'e'（string）的配置单元表。
我有如下数据：

a  b  c   d   e
---------------
1  a  10  18  i
2  b  11  19  j
3  c  12  20  k
4  d  13  21  l
1  e  14  22  m
4  f  15  23  n
2  g  16  24  o
3  h  17  25  p

表按键“b”排序。
现在我们想要如下输出：

a  b  c   d   e
---------------
1  e  14  22  m
4  f  15  23  n
2  g  16  24  o
3  h  17  25  p

这将在密钥“a”上进行重复数据删除，但将保留最后一个（最新的）“b”。

是否可以使用 Hive 查询（HiveQL）？

Answer 1

如果 b 列是唯一的，请尝试遵循 hql：

select 
* 
from
(
    select max(b) as max_b
    from
    table
    group by a
) table1
join table on table1.max_b = table.b