131

我有一个pd.DataFrame通过解析一些 excel 电子表格创建的。其中有一列有空单元格。例如，下面是该列频率的输出，32320 条记录缺少Tenant的值。

>>> value_counts(Tenant, normalize=False)
                              32320
    Thunderhead                8170
    Big Data Others            5700
    Cloud Cruiser              5700
    Partnerpedia               5700
    Comcast                    5700
    SDP                        5700
    Agora                      5700
    dtype: int64

我正在尝试删除租户丢失的行，但是.isnull()选项无法识别丢失的值。

>>> df['Tenant'].isnull().sum()
    0

该列的数据类型为“对象”。在这种情况下发生了什么？如何删除租户丢失的记录？

4

6 回答 6

239

np.nan如果它是一个对象，Pandas 会将一个值识别为 null ，这将像NaN在 DataFrame 中一样打印。您的缺失值可能是空字符串，Pandas 不会将其识别为 null。要解决此问题，您可以使用 将空字符串（或空单元格中的任何内容）转换为np.nan对象replace()，然后调用dropna()DataFrame 以删除具有空租户的行。

为了演示，我们在列中创建了一个包含一些随机值和一些空字符串的 DataFrame Tenants：

>>> import pandas as pd
>>> import numpy as np
>>> 
>>> df = pd.DataFrame(np.random.randn(10, 2), columns=list('AB'))
>>> df['Tenant'] = np.random.choice(['Babar', 'Rataxes', ''], 10)
>>> print df

          A         B   Tenant
0 -0.588412 -1.179306    Babar
1 -0.008562  0.725239         
2  0.282146  0.421721  Rataxes
3  0.627611 -0.661126    Babar
4  0.805304 -0.834214         
5 -0.514568  1.890647    Babar
6 -1.188436  0.294792  Rataxes
7  1.471766 -0.267807    Babar
8 -1.730745  1.358165  Rataxes
9  0.066946  0.375640

现在我们用对象替换Tenants列中的任何空字符串np.nan，如下所示：

>>> df['Tenant'].replace('', np.nan, inplace=True)
>>> print df

          A         B   Tenant
0 -0.588412 -1.179306    Babar
1 -0.008562  0.725239      NaN
2  0.282146  0.421721  Rataxes
3  0.627611 -0.661126    Babar
4  0.805304 -0.834214      NaN
5 -0.514568  1.890647    Babar
6 -1.188436  0.294792  Rataxes
7  1.471766 -0.267807    Babar
8 -1.730745  1.358165  Rataxes
9  0.066946  0.375640      NaN

现在我们可以删除空值：

>>> df.dropna(subset=['Tenant'], inplace=True)
>>> print df

          A         B   Tenant
0 -0.588412 -1.179306    Babar
2  0.282146  0.421721  Rataxes
3  0.627611 -0.661126    Babar
5 -0.514568  1.890647    Babar
6 -1.188436  0.294792  Rataxes
7  1.471766 -0.267807    Babar
8 -1.730745  1.358165  Rataxes
于 2015-03-28T07:46:29.167 回答
91

Pythonic + Pandorable：df[df['col'].astype(bool)]

空字符串是虚假的，这意味着您可以像这样过滤 bool 值：

df = pd.DataFrame({
    'A': range(5),
    'B': ['foo', '', 'bar', '', 'xyz']
})
df
   A    B
0  0  foo
1  1     
2  2  bar
3  3     
4  4  xyz

df['B'].astype(bool)                                                                                                                      
0     True
1    False
2     True
3    False
4     True
Name: B, dtype: bool

df[df['B'].astype(bool)]                                                                                                                  
   A    B
0  0  foo
2  2  bar
4  4  xyz

如果您的目标是不仅要删除空字符串，还要删除仅包含空格的字符串，请str.strip事先使用：

df[df['B'].str.strip().astype(bool)]
   A    B
0  0  foo
2  2  bar
4  4  xyz

比你想象的更快

.astype是矢量化操作，这比目前提供的每个选项都快。至少，从我的测试来看。YMMV。

这是一个时间比较，我提出了一些我能想到的其他方法。

在此处输入图像描述

基准代码，供参考：

import pandas as pd
import perfplot

df1 = pd.DataFrame({
    'A': range(5),
    'B': ['foo', '', 'bar', '', 'xyz']
})

perfplot.show(
    setup=lambda n: pd.concat([df1] * n, ignore_index=True),
    kernels=[
        lambda df: df[df['B'].astype(bool)],
        lambda df: df[df['B'] != ''],
        lambda df: df[df['B'].replace('', np.nan).notna()],  # optimized 1-col
        lambda df: df.replace({'B': {'': np.nan}}).dropna(subset=['B']),  
    ],
    labels=['astype', "!= ''", "replace + notna", "replace + dropna", ],
    n_range=[2**k for k in range(1, 15)],
    xlabel='N',
    logx=True,
    logy=True,
    equality_check=pd.DataFrame.equals)
于 2019-06-21T18:20:53.123 回答
40

value_counts 默认省略 NaN，因此您最有可能处理“”。

所以你可以像过滤掉它们一样

filter = df["Tenant"] != ""
dfNew = df[filter]
于 2015-03-28T16:19:17.380 回答
15

有一种情况，单元格有空白，你看不到，使用

df['col'].replace('  ', np.nan, inplace=True)

将空格替换为 NaN，然后

df= df.dropna(subset=['col'])
于 2018-06-11T18:34:23.030 回答
8

您可以使用此变体：

import pandas as pd
vals = {
    'name' : ['n1', 'n2', 'n3', 'n4', 'n5', 'n6', 'n7'],
    'gender' : ['m', 'f', 'f', 'f',  'f', 'c', 'c'],
    'age' : [39, 12, 27, 13, 36, 29, 10],
    'education' : ['ma', None, 'school', None, 'ba', None, None]
}
df_vals = pd.DataFrame(vals) #converting dict to dataframe

这将输出（** - 仅突出显示所需的行）：

   age education gender name
0   39        ma      m   n1 **
1   12      None      f   n2    
2   27    school      f   n3 **
3   13      None      f   n4
4   36        ba      f   n5 **
5   29      None      c   n6
6   10      None      c   n7

因此，要删除没有“教育”价值的所有内容，请使用以下代码：

df_vals = df_vals[~df_vals['education'].isnull()]

（'〜'表示NOT）

结果：

   age education gender name
0   39        ma      m   n1
2   27    school      f   n3
4   36        ba      f   n5
于 2017-05-31T18:10:48.120 回答
4

如果您不关心丢失文件所在的列，考虑到数据框具有名称New并且想要将新数据框分配给相同的变量，只需运行

New = New.drop_duplicates()

如果您特别想删除列中空值的行，Tenant这将完成工作

New = New[New.Tenant != '']

这也可用于删除具有特定值的行 - 只需将字符串更改为所需的值。

注意：如果不是一个空字符串NaN，那么

New = New.dropna(subset=['Tenant'])
于 2021-01-08T09:44:37.230 回答