399

中的大多数操作pandas都可以通过运算符链接（groupby, aggregate,apply等）来完成，但我发现过滤行的唯一方法是通过普通括号索引

df_filtered = df[df['column'] == value]

这是不吸引人的，因为它需要我分配df给一个变量，然后才能过滤它的值。是否有类似以下的内容？

df_filtered = df.mask(lambda x: x['column'] == value)
4

15 回答 15

454

我不完全确定你想要什么，你的最后一行代码也无济于事，但无论如何：

“链接”过滤是通过“链接”布尔索引中的条件来完成的。

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

如果要链接方法，可以添加自己的掩码方法并使用该方法。

In [90]: def mask(df, key, value):
   ....:     return df[df[key] == value]
   ....:

In [92]: pandas.DataFrame.mask = mask

In [93]: df = pandas.DataFrame(np.random.randint(0, 10, (4,4)), index=list('abcd'), columns=list('ABCD'))

In [95]: df.ix['d','A'] = df.ix['a', 'A']

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [97]: df.mask('A', 1)
Out[97]:
   A  B  C  D
a  1  4  9  1
d  1  3  9  6

In [98]: df.mask('A', 1).mask('D', 6)
Out[98]:
   A  B  C  D
d  1  3  9  6
于 2012-08-08T20:10:43.290 回答
138

过滤器可以使用 Pandas查询链接：

df = pd.DataFrame(np.random.randn(30, 3), columns=['a','b','c'])
df_filtered = df.query('a > 0').query('0 < b < 2')

过滤器也可以组合在一个查询中：

df_filtered = df.query('a > 0 and 0 < b < 2')
于 2015-01-26T21:44:19.280 回答
76

@lodagro 的答案很棒。我将通过将掩码函数概括为：

def mask(df, f):
  return df[f(df)]

然后你可以做类似的事情：

df.mask(lambda x: x[0] < 0).mask(lambda x: x[1] > 0)
于 2012-08-09T23:20:59.093 回答
34

从0.18.1 版本开始，该.loc方法接受一个可调用的选择。与 lambda 函数一起，您可以创建非常灵活的可链接过滤器：

import numpy as np
import pandas as pd

df = pd.DataFrame(np.random.randint(0,100,size=(100, 4)), columns=list('ABCD'))
df.loc[lambda df: df.A == 80]  # equivalent to df[df.A == 80] but chainable

df.sort_values('A').loc[lambda df: df.A > 80].loc[lambda df: df.B > df.A]

如果您所做的只是过滤，您也可以省略.loc.

于 2017-09-05T10:14:25.817 回答
21

pandas 为 Wouter Overmeire 的答案提供了两种替代方案，不需要任何覆盖。一个是.loc[.]可调用的，如

df_filtered = df.loc[lambda x: x['column'] == value]

另一个是.pipe()，如

df_filtered = df.pipe(lambda x: x.loc[x['column'] == value])
于 2018-03-22T14:44:14.537 回答
19

我提供了这个作为额外的例子。这与https://stackoverflow.com/a/28159296/的答案相同

我将添加其他编辑以使这篇文章更有用。

pandas.DataFrame.query
query正是为此目的而制作的。考虑数据框df

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(10, size=(10, 5)),
    columns=list('ABCDE')
)

df

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
6  8  7  6  4  7
7  6  2  6  6  5
8  2  8  7  5  8
9  4  7  6  1  5

让我们query用来过滤所有行D > B

df.query('D > B')

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
2  0  2  0  4  9
3  7  3  2  4  3
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5

我们连锁

df.query('D > B').query('C > B')
# equivalent to
# df.query('D > B and C > B')
# but defeats the purpose of demonstrating chaining

   A  B  C  D  E
0  0  2  7  3  8
1  7  0  6  8  6
4  3  6  7  7  4
5  5  3  7  5  9
7  6  2  6  6  5
于 2017-06-04T04:40:30.143 回答
10

我有同样的问题，只是我想将标准组合成 OR 条件。Wouter Overmeire 给出的格式将标准组合成一个 AND 条件，使得两者都必须满足：

In [96]: df
Out[96]:
   A  B  C  D
a  1  4  9  1
b  4  5  0  2
c  5  5  1  0
d  1  3  9  6

In [99]: df[(df.A == 1) & (df.D == 6)]
Out[99]:
   A  B  C  D
d  1  3  9  6

但是我发现，如果您将每个条件包装起来(... == True)并用管道连接条件，则条件将组合在 OR 条件中，只要其中任何一个为真，就满足：

df[((df.A==1) == True) | ((df.D==6) == True)]
于 2015-03-25T04:00:24.160 回答
9

我的回答和其他人一样。如果您不想创建新功能，可以使用 pandas 已经为您定义的功能。使用管道方法。

df.pipe(lambda d: d[d['column'] == value])
于 2016-05-27T19:00:59.680 回答
7

只想添加一个演示loc，不仅可以按行过滤，还可以按列过滤，以及链式操作的一些优点。

下面的代码可以按值过滤行。

df_filtered = df.loc[df['column'] == value]

通过稍微修改它，您也可以过滤列。

df_filtered = df.loc[df['column'] == value, ['year', 'column']]

那么为什么我们需要一个链式方法呢？答案是，如果你有很多操作，它很容易阅读。例如，

res =  df\
    .loc[df['station']=='USA', ['TEMP', 'RF']]\
    .groupby('year')\
    .agg(np.nanmean)
于 2018-01-29T06:18:36.400 回答
5

如果您想应用所有常见的布尔掩码以及通用掩码，您可以将以下内容放入文件中，然后简单地将它们全部分配如下：

pd.DataFrame = apply_masks()

用法：

A = pd.DataFrame(np.random.randn(4, 4), columns=["A", "B", "C", "D"])
A.le_mask("A", 0.7).ge_mask("B", 0.2)... (May be repeated as necessary

这有点 hacky，但如果您根据过滤器不断地切割和更改数据集，它可以让事情变得更干净一些。在 gen_mask 函数中还有一个改编自 Daniel Velkov 的通用过滤器，您可以将其与 lambda 函数一起使用，或者如果需要的话。

要保存的文件（我使用masks.py）：

import pandas as pd

def eq_mask(df, key, value):
    return df[df[key] == value]

def ge_mask(df, key, value):
    return df[df[key] >= value]

def gt_mask(df, key, value):
    return df[df[key] > value]

def le_mask(df, key, value):
    return df[df[key] <= value]

def lt_mask(df, key, value):
    return df[df[key] < value]

def ne_mask(df, key, value):
    return df[df[key] != value]

def gen_mask(df, f):
    return df[f(df)]

def apply_masks():

    pd.DataFrame.eq_mask = eq_mask
    pd.DataFrame.ge_mask = ge_mask
    pd.DataFrame.gt_mask = gt_mask
    pd.DataFrame.le_mask = le_mask
    pd.DataFrame.lt_mask = lt_mask
    pd.DataFrame.ne_mask = ne_mask
    pd.DataFrame.gen_mask = gen_mask

    return pd.DataFrame

if __name__ == '__main__':
    pass
于 2013-04-18T04:44:28.577 回答
4

这是不吸引人的，因为它需要我分配df给一个变量，然后才能过滤它的值。

df[df["column_name"] != 5].groupby("other_column_name")

似乎有效：您也可以嵌套[]运算符。也许他们在您提出问题后添加了它。

于 2018-04-19T08:17:01.467 回答
4

这个解决方案在实现方面更加骇人听闻，但我发现它在使用方面更干净，而且它肯定比其他提议的更通用。

https://github.com/toobaz/generic_utils/blob/master/generic_utils/pandas/where.py

您不需要下载整个 repo：保存文件并执行

from where import where as W

应该足够了。然后你像这样使用它：

df = pd.DataFrame([[1, 2, True],
                   [3, 4, False], 
                   [5, 7, True]],
                  index=range(3), columns=['a', 'b', 'c'])
# On specific column:
print(df.loc[W['a'] > 2])
print(df.loc[-W['a'] == W['b']])
print(df.loc[~W['c']])
# On entire - or subset of a - DataFrame:
print(df.loc[W.sum(axis=1) > 3])
print(df.loc[W[['a', 'b']].diff(axis=1)['b'] > 1])

一个稍微不那么愚蠢的用法示例：

data = pd.read_csv('ugly_db.csv').loc[~(W == '$null$').any(axis=1)]

顺便说一句：即使在您只使用布尔值的情况下，

df.loc[W['cond1']].loc[W['cond2']]

可以比

df.loc[W['cond1'] & W['cond2']]

因为它只评估cond2where cond1is True。

免责声明：我首先在其他地方给出了这个答案，因为我没有看到这个。

于 2017-11-27T18:12:09.100 回答
3

您还可以利用numpy库进行逻辑操作。它相当快。

df[np.logical_and(df['A'] == 1 ,df['B'] == 6)]
于 2018-01-25T07:22:23.910 回答
2

如果您将列设置为作为索引进行搜索，那么您可以使用DataFrame.xs()横截面。这不像query答案那样通用，但在某些情况下可能很有用。

import pandas as pd
import numpy as np

np.random.seed([3,1415])
df = pd.DataFrame(
    np.random.randint(3, size=(10, 5)),
    columns=list('ABCDE')
)

df
# Out[55]: 
#    A  B  C  D  E
# 0  0  2  2  2  2
# 1  1  1  2  0  2
# 2  0  2  0  0  2
# 3  0  2  2  0  1
# 4  0  1  1  2  0
# 5  0  0  0  1  2
# 6  1  0  1  1  1
# 7  0  0  2  0  2
# 8  2  2  2  2  2
# 9  1  2  0  2  1

df.set_index(['A', 'D']).xs([0, 2]).reset_index()
# Out[57]: 
#    A  D  B  C  E
# 0  0  2  2  2  2
# 1  0  2  1  1  0
于 2017-07-26T03:35:33.333 回答
1

因此，我的看法是，在对数据进行子设置以进行分析时，您会做两件事。

  • 获取行
  • 获取列

Pandas 有多种方法来完成这些操作，以及一些有助于获取行和列的技术。对于 Pandas 的新用户来说，这可能会让人感到困惑，因为选择太多了。

您是否使用 iloc、loc、方括号、查询、isin、np.where、掩码等...

方法链

现在，方法链是数据处理时的一种很好的工作方式。在 R 中，他们有一个简单的方法，你是select()列，你是filter()行。

因此，如果我们想在 Pandas 中保持简单，为什么不使用filter()for 列和query()for 行。这两个都返回数据帧，因此不需要弄乱布尔索引，也不需要添加df[ ]返回值。

那看起来像什么：-

df.filter(['col1', 'col2', 'col3']).query("col1 == 'sometext'")

然后，您可以链接任何其他方法，例如, groupby,dropna()等。sort_values()reset_index()

通过保持一致并使用filter()来获取列和query()行，一段时间后返回代码时会更容易阅读代码。

但是过滤器可以选择行吗？

是的，这是真的，但默认情况下query()获取行并filter()获取列。因此，如果您坚持使用默认值，则无需使用该axis=参数。

询问（）

query() 可以同时使用//and你也可以使用比较运算符。你也可以在里面使用 Python，而不是在里面。or &|> , < , >= , <=, ==, !=

您可以使用@my_list 将列表传递给查询

使用查询获取行的一些示例

df.query('A > B')

df.query('a not in b')

df.query("series == '2206'")

df.query("col1 == @mylist")

df.query('Salary_in_1000 >= 100 & Age < 60 & FT_Team.str.startswith("S").values')

筛选（）

所以过滤器基本上就像使用括号一样，df[]或者df[[]]它使用标签来选择列。但它不仅仅是括号符号。

filter 具有like=参数，以帮助选择具有部分名称的列。

df.filter(like='partial_name',)

过滤器也有正则表达式来帮助选择

df.filter(regex='reg_string')

所以总结一下这种工作方式可能不适用于任何情况，例如，如果你想使用索引/切片，那么 iloc 是要走的路。但这似乎是一种可靠的工作方式，可以简化您的工作流程和代码。

于 2022-01-26T22:27:00.627 回答