我有一个 pandas DataFrame，我想从中删除特定列中字符串长度大于 2 的行。
我希望能够做到这一点（根据这个答案）：
df[(len(df['column name']) < 2)]
但我只是得到错误：
KeyError: u'no item named False'
我究竟做错了什么？
（注意：我知道我可以df.dropna()用来删除包含 any 的行NaN，但我没有看到如何根据条件表达式删除行。）
问问题
1056911 次
6 回答
1245
要直接回答这个问题的原始标题“如何根据条件表达式从熊猫数据帧中删除行”（我理解这不一定是 OP 的问题，但可以帮助其他用户遇到这个问题），一种方法是使用掉落方法：
df = df.drop(some labels)
df = df.drop(df[<some boolean condition>].index)
例子
要删除列 'score' < 50 的所有行：
df = df.drop(df[df.score < 50].index)
就地版本（如评论中指出的那样）
df.drop(df[df.score < 50].index, inplace=True)
多个条件
（参见布尔索引）
运算符是：
|foror、&forand和~fornot。这些必须使用括号进行分组。
删除列 'score' < 50 和 > 20 的所有行
df = df.drop(df[(df.score < 50) & (df.score > 20)].index)
于 2014-12-08T14:26:11.697 回答
248
当你这样做时，len(df['column name'])你只会得到一个数字，即 DataFrame 中的行数（即列本身的长度）。如果要应用于len列中的每个元素，请使用df['column name'].map(len). 所以试试
df[df['column name'].map(len) < 2]
于 2012-12-13T01:37:01.637 回答
146
您可以将 分配给DataFrame自身的过滤版本：
df = df[df.score > 50]
这比drop：
%%timeit
test = pd.DataFrame({'x': np.random.randn(int(1e6))})
test = test[test.x < 0]
# 54.5 ms ± 2.02 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
%%timeit
test = pd.DataFrame({'x': np.random.randn(int(1e6))})
test.drop(test[test.x > 0].index, inplace=True)
# 201 ms ± 17.9 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
%%timeit
test = pd.DataFrame({'x': np.random.randn(int(1e6))})
test = test.drop(test[test.x > 0].index)
# 194 ms ± 7.03 ms per loop (mean ± std. dev. of 7 runs, 10 loops each)
于 2016-10-18T14:01:04.270 回答
18
我将扩展@User 的通用解决方案以提供drop免费的替代方案。这适用于根据问题标题（不是 OP 的问题）在此处指导的人
假设您要删除所有具有负值的行。一种衬垫解决方案是：-
df = df[(df > 0).all(axis=1)]
一步一步解释：--
让我们生成一个 5x5 随机正态分布数据框
np.random.seed(0)
df = pd.DataFrame(np.random.randn(5,5), columns=list('ABCDE'))
A B C D E
0 1.764052 0.400157 0.978738 2.240893 1.867558
1 -0.977278 0.950088 -0.151357 -0.103219 0.410599
2 0.144044 1.454274 0.761038 0.121675 0.443863
3 0.333674 1.494079 -0.205158 0.313068 -0.854096
4 -2.552990 0.653619 0.864436 -0.742165 2.269755
让条件是删除否定。满足条件的布尔 df：-
df > 0
A B C D E
0 True True True True True
1 False True False False True
2 True True True True True
3 True True False True False
4 False True True False True
满足条件的所有行的布尔系列 注意如果行中的任何元素不符合条件，则该行被标记为 false
(df > 0).all(axis=1)
0 True
1 False
2 True
3 False
4 False
dtype: bool
最后根据条件从数据框中过滤掉行
df[(df > 0).all(axis=1)]
A B C D E
0 1.764052 0.400157 0.978738 2.240893 1.867558
2 0.144044 1.454274 0.761038 0.121675 0.443863
您可以将其分配回 df 以实际删除上面完成的vs filter
df = df[(df > 0).all(axis=1)]
这可以很容易地扩展以过滤掉包含 NaN s（非数字条目）的行：-
df = df[(~df.isnull()).all(axis=1)]
对于以下情况，这也可以简化：删除 E 列为负数的所有行
df = df[(df.E>0)]
我想以一些分析统计数据结束@User 的drop解决方案为什么比基于原始列的过滤慢：-
%timeit df_new = df[(df.E>0)]
345 µs ± 10.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
%timeit dft.drop(dft[dft.E < 0].index, inplace=True)
890 µs ± 94.9 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
一列基本上是Series一个NumPy数组，它可以被索引而不需要任何成本。对于那些对底层内存组织如何影响执行速度感兴趣的人来说，这里是加速 Pandas 的一个很好的链接：
于 2019-02-16T03:35:51.633 回答
12
在 pandas 中，您可以str.len使用边界并使用布尔结果对其进行过滤。
df[df['column name'].str.len().lt(2)]
于 2018-11-07T02:30:47.273 回答
5
如果您想根据列值上的某些复杂条件删除数据框行，那么以上述方式编写可能会很复杂。我有以下更简单的解决方案，它总是有效的。让我们假设您要删除带有“标题”的列，因此首先将该列放入列表中。
text_data = df['name'].tolist()
现在对列表的每个元素应用一些函数并将其放入熊猫系列中：
text_length = pd.Series([func(t) for t in text_data])
就我而言，我只是想获得令牌的数量：
text_length = pd.Series([len(t.split()) for t in text_data])
现在在数据框中添加一个带有上述系列的额外列：
df = df.assign(text_length = text_length .values)
现在我们可以在新列上应用条件，例如：
df = df[df.text_length > 10]
def pass_filter(df, label, length, pass_type):
text_data = df[label].tolist()
text_length = pd.Series([len(t.split()) for t in text_data])
df = df.assign(text_length = text_length .values)
if pass_type == 'high':
df = df[df.text_length > length]
if pass_type == 'low':
df = df[df.text_length < length]
df = df.drop(columns=['text_length'])
return df
于 2019-02-02T02:32:11.867 回答