95

我想通过每行的函数过滤行，例如

def f(row):
  return sin(row['velocity'])/np.prod(['masses']) > 5

df = pandas.DataFrame(...)
filtered = df[apply_to_all_rows(df, f)]

或者对于另一个更复杂、人为的例子，

def g(row):
  if row['col1'].method1() == 1:
    val = row['col1'].method2() / row['col1'].method3(row['col3'], row['col4'])
  else:
    val = row['col2'].method5(row['col6'])
  return np.sin(val)

df = pandas.DataFrame(...)
filtered = df[apply_to_all_rows(df, g)]

我该怎么做？

4

6 回答 6

138

您可以使用 来执行此操作DataFrame.apply，它沿给定轴应用函数，

In [3]: df = pandas.DataFrame(np.random.randn(5, 3), columns=['a', 'b', 'c'])

In [4]: df
Out[4]: 
          a         b         c
0 -0.001968 -1.877945 -1.515674
1 -0.540628  0.793913 -0.983315
2 -1.313574  1.946410  0.826350
3  0.015763 -0.267860 -2.228350
4  0.563111  1.195459  0.343168

In [6]: df[df.apply(lambda x: x['b'] > x['c'], axis=1)]
Out[6]: 
          a         b         c
1 -0.540628  0.793913 -0.983315
2 -1.313574  1.946410  0.826350
3  0.015763 -0.267860 -2.228350
4  0.563111  1.195459  0.343168
于 2012-07-13T17:33:12.873 回答
14

假设我有一个 DataFrame 如下：

In [39]: df
Out[39]: 
      mass1     mass2  velocity
0  1.461711 -0.404452  0.722502
1 -2.169377  1.131037  0.232047
2  0.009450 -0.868753  0.598470
3  0.602463  0.299249  0.474564
4 -0.675339 -0.816702  0.799289

我可以使用 sin 和 DataFrame.prod 创建一个布尔掩码：

In [40]: mask = (np.sin(df.velocity) / df.ix[:, 0:2].prod(axis=1)) > 0

In [41]: mask
Out[41]: 
0    False
1    False
2    False
3     True
4     True

然后使用掩码从 DataFrame 中进行选择：

In [42]: df[mask]
Out[42]: 
      mass1     mass2  velocity
3  0.602463  0.299249  0.474564
4 -0.675339 -0.816702  0.799289
于 2012-07-10T19:35:29.833 回答
6

指定reduce=True也处理空 DataFrame。

import pandas as pd

t = pd.DataFrame(columns=['a', 'b'])
t[t.apply(lambda x: x['a'] > 1, axis=1, reduce=True)]

https://crosscompute.com/n/jAbsB6OIm6oCCJX9PBIbY5FECFKCClyV/-/apply-custom-filter-on-rows-of-dataframe

于 2017-10-21T17:31:15.147 回答
5

我无法评论Dukeworthd 的答案，但它并不完美。当数据框为空时它会崩溃：

df = pandas.DataFrame(columns=['a', 'b', 'c'])
df[df.apply(lambda x: x['b'] > x['c'], axis=1)]

输出：

ValueError: Must pass DataFrame with boolean values only

对我来说，这看起来像是 pandas 中的一个错误，因为 { } 绝对是一组有效的布尔值。有关解决方案，请参阅Roy Hyunjin Han 的回答。

于 2015-07-10T12:16:42.777 回答
5

我发现最好的方法是，而不是使用reduce=True来避免空 df 的错误（因为这个 arg 无论如何都被弃用了），只需在应用过滤器之前检查 df size > 0 ：

def my_filter(row):
    if row.columnA == something:
        return True

    return False

if len(df.index) > 0:
    df[df.apply(my_filter, axis=1)]
于 2019-01-14T19:04:55.740 回答
0

您可以使用该loc属性对数据框进行切片。

根据 文档， loc可以有一个callable functionas 参数。

In [3]: df = pandas.DataFrame(np.random.randn(5, 3), columns=['a', 'b', 'c'])

In [4]: df
Out[4]: 
          a         b         c
0 -0.001968 -1.877945 -1.515674
1 -0.540628  0.793913 -0.983315
2 -1.313574  1.946410  0.826350
3  0.015763 -0.267860 -2.228350
4  0.563111  1.195459  0.343168

# define lambda function
In [5]: myfilter = lambda x: x['b'] > x['c']

# use my lambda in loc
In [6]: df1 = df.loc[fif]

如果您想将您的过滤功能fif与其他过滤条件相结合

df1 = df.loc[fif].loc[(df.b >= 0.5)]
于 2020-06-15T13:15:26.933 回答