apache-spark - 在包装数组中获取非空值

Question

我有一个 Wrapped Array，并且只想在使用LATERAL VIEW EXPLODE查询时获取 Non Null 值。我也试过IS NOT NULL但这不会返回任何东西。

样本结构：

列名：数组

WrappedArray([null,theVal,tags,[null,null,7298,null,null,null],false])

架构是

array<struct<id:string,name:string,type:string,value:struct<member0:string,member1:bigint,member2:int,member3:double,member4:float,member5:boolean>,shouldIndex:boolean>>

我的查询：

SELECT DISTINCT revs
FROM events 
LATERAL VIEW EXPLODE(theARRAY.value.member2) theTab2 AS revs 

我的结果：

__________
|**revs**|
__________
|7298    |
__________
| null   |
__________

WHen 使用IS NOT NULL：

SELECT DISTINCT revs
FROM events 
LATERAL VIEW EXPLODE(theARRAY.value.member2) theTab2 AS revs 
revs IS NOT NULL 

什么都没有返回。

我需要：

|**revs**|
__________
|7298    |
__________

如何修复我的查询以获得上述结果？

Answer 1

您可以将查询细化为：

SELECT revs FROM
( SELECT DISTINCT revs 'revs' 
FROM events 
LATERAL VIEW EXPLODE(theARRAY.value.member2) theTab2 AS revs 
) WHERE revs IS NOT NULL