filter - Pyspark如何过滤出带有null或列表总和等于0的列表？

Question

在 pyspark 中，我们可以使用以下方法轻松过滤掉特定列中的单个空值：

df.filter("column is Not NULL")

但是，就我而言，列中的值变为[null,null,null]或者[0,0,0] 我想知道如何过滤掉这两种情况。

Answer 1

在下面使用isNull()<- 这将检查您的列是否为空

df = df.filter(F.col("col_name").isNull())

如果您有一个列表列 - 您可以使用array_contains- 这将返回true或false

df = df.withColumn("result", F.array_contains(df.col, "a")) 更多在这里