1

我在 PySpark 中有一个数据框，其中包含空白空间、Null 和 Nan。我想删除具有任何这些的行。我尝试了以下命令，但是似乎没有任何效果。

myDF.na.drop().show()
myDF.na.drop(how='any').show()

下面是数据框：

+---+----------+----------+-----+-----+
|age|  category|      date|empId| name|
+---+----------+----------+-----+-----+
| 25|electronic|17-01-2018|  101|  abc|
| 24|    sports|16-01-2018|  102|  def|
| 23|electronic|17-01-2018|  103|  hhh|
| 23|electronic|16-01-2018|  104|  yyy|
| 29|       men|12-01-2018|  105| ajay|
| 31|      kids|17-01-2018|  106|vijay|
|   |       Men|       nan|  107|Sumit|
+---+----------+----------+-----+-----+

我错过了什么？处理 NULL、Nan 或空格以便在实际计算中没有问题的最佳方法是什么？

4

1 回答 1

9

NaN（不是数字）具有不同的含义，NULL空字符串只是一个普通值（可以使用 csv 阅读器自动转换为 NULL），因此na.drop不会匹配这些值。

您可以将所有转换为 null 并删除

from pyspark.sql.functions import col, isnan, when, trim

df = spark.createDataFrame([
    ("", 1, 2.0), ("foo", None, 3.0), ("bar", 1, float("NaN")), 
    ("good", 42, 42.0)])

def to_null(c):
    return when(~(col(c).isNull() | isnan(col(c)) | (trim(col(c)) == "")), col(c))


df.select([to_null(c).alias(c) for c in df.columns]).na.drop().show()
# +----+---+----+
# |  _1| _2|  _3|
# +----+---+----+
# |good| 42|42.0|
# +----+---+----+
于 2018-01-24T11:55:20.143 回答