python - 返回一个布尔数据框

Question

我想创建一个带有布尔值的 DataFrame，其中 np.nan == False 和任何正实值 == True。

import numpy as np
import pandas as pd
DF = pd.DataFrame({'a':[1,2,3,4,np.nan],'b':[np.nan,np.nan,np.nan,5,np.nan]})

DF.apply(bool) # Does not work
DF.where(DF.isnull() == False) # Does not work
DF[DF.isnull() == False] # Does not work

Answer 1

- np.isnan(df)很奇怪，但它的表现似乎pd.notnull(df)是压倒性的：

In [1]: import pandas as pd

In [2]: import numpy as np

In [3]: df = pd.DataFrame({'a':[1,2,3,4,np.nan],'b':[np.nan,np.nan,np.nan,5,np.nan]})


In [4]: - np.isnan(df)
Out[4]: 
       a      b
0   True  False
1   True  False
2   True  False
3   True   True
4  False  False

In [5]: %timeit - np.isnan(df)
10000 loops, best of 3: 159 us per loop

In [6]: %timeit pd.notnull(df)
1000 loops, best of 3: 1.22 ms per loop

Answer 2

not 有一个方便的函数isnull，称为notnull：

In [11]: pd.notnull(df)
Out[11]: 
       a      b
0   True  False
1   True  False
2   True  False
3   True   True
4  False  False

Answer 3

将 df 上的 notnull() 和 isnan() 与一些格式错误进行比较：

df = pd.DataFrame({'a':[1,2,3,4,np.nan],'b':[np.nan,np.nan,np.nan,5,np.nan],'c':['fish','bear','cat','dog',np.nan]})

%%timeit
legit_dexes =  np.isnan(df[df<=""].astype(float)) == False

1000 个循环，最好的 3 个：每个循环 632 us

%%timeit
legit_dexes = pd.notnull(df)

1000 个循环，最好的 3 个：每个循环 751 us

这种忽略格式错误列的变体也类似：

%%timeit
legit_dexes = np.isnan(df[df.columns[df.apply(lambda x: not np.any(x.values>=""))]]) == False

1000 个循环，最好的 3 个：每个循环 681 us