1

这是我的数据框：

from pyspark.sql import SparkSession
from pyspark.sql import functions as F

spark = SparkSession.builder.getOrCreate()

dCols = ['c1',  'c2']
dData = [('a', 'b'), 
         ('c', 'd'),
         ('e', None)]     
df = spark.createDataFrame(dData, dCols)

是否有包含null在里面的语法.isin()？
就像是

df = df.withColumn(
    'newCol',
    F.when(F.col('c2').isin({'d', None}), 'true')  # <=====?
    .otherwise('false')
).show()

执行代码后我得到

+---+----+------+
| c1|  c2|newCol|
+---+----+------+
|  a|   b| false|
|  c|   d|  true|
|  e|null| false|
+---+----+------+

代替

+---+----+------+
| c1|  c2|newCol|
+---+----+------+
|  a|   b| false|
|  c|   d|  true|
|  e|null|  true|
+---+----+------+

我想找到一个不需要两次引用同一列的解决方案，就像我们现在需要做的那样：

(F.col('c2') == 'd') | F.col('c2').isNull()
4

3 回答 3

2

NULL不是一个值，但表示没有值，因此您无法将其与 None 或 NULL 进行比较。比较总是会给出错误的。您需要使用isNull检查：

df = df.withColumn(
    'newCol',
    F.when(F.col('c2').isin({'d'}) | F.col('c2').isNull(), 'true')
        .otherwise('false')
).show()

#+---+----+------+
#| c1|  c2|newCol|
#+---+----+------+
#|  a|   b| false|
#|  c|   d|  true|
#|  e|null|  true|
#+---+----+------+
于 2021-02-15T13:44:34.700 回答
2

在这种情况下，仅引用该列是不够的。要检查空值，您需要使用单独的isNull方法。

此外，如果您想要一列true/false，您可以直接将结果转换为布尔值而不使用when：

import pyspark.sql.functions as F

df2 = df.withColumn(
    'newCol',
    (F.col('c2').isin(['d']) | F.col('c2').isNull()).cast('boolean')
)

df2.show()
+---+----+------+
| c1|  c2|newCol|
+---+----+------+
|  a|   b| false|
|  c|   d|  true|
|  e|null|  true|
+---+----+------+
于 2021-02-15T13:55:46.097 回答
0

试试这个：使用“或”操作来测试空值

from pyspark.sql import SparkSession
from pyspark.sql import functions as F
import numpy as np

spark = SparkSession.builder.getOrCreate()

dCols = ['c1',  'c2']
dData = [('a', 'b'), 
         ('c', 'd'),
         ('e', None)]     
df = spark.createDataFrame(dData, dCols)

df = df.withColumn(
    'newCol',
    F.when(F.col('c2').isNull() | (F.col('c2') == 'd'), 'true')   #
    .otherwise('false')
).show()
于 2021-02-15T14:29:14.813 回答