我有一个DataFrame名为pandasdata的列，名为ms. 我想消除所有data.ms高于 95% 的行。现在，我正在这样做：
limit = data.ms.describe(90)['95%']
valid_data = data[data['ms'] < limit]
哪个有效，但我想将其推广到任何百分位数。最好的方法是什么？
问问题
69004 次
3 回答
100
使用Series.quantile()方法：
In [48]: cols = list('abc')
In [49]: df = DataFrame(randn(10, len(cols)), columns=cols)
In [50]: df.a.quantile(0.95)
Out[50]: 1.5776961953820687
要过滤掉大于或等于第 95 个百分位的行，请执行以下操作df：df.a
In [72]: df[df.a < df.a.quantile(.95)]
Out[72]:
a b c
0 -1.044 -0.247 -1.149
2 0.395 0.591 0.764
3 -0.564 -2.059 0.232
4 -0.707 -0.736 -1.345
5 0.978 -0.099 0.521
6 -0.974 0.272 -0.649
7 1.228 0.619 -0.849
8 -0.170 0.458 -0.515
9 1.465 1.019 0.966
于 2013-09-02T20:40:45.257 回答
40
对于这种事情，numpy 比 Pandas 快得多：
numpy.percentile(df.a,95) # attention : the percentile is given in percent (5 = 5%)
等价，但比 : 快 3 倍：
df.a.quantile(.95) # as you already noticed here it is ".95" not "95"
所以对于你的代码，它给出了：
df[df.a < np.percentile(df.a,95)]
于 2016-09-01T16:02:54.840 回答
2
您可以使用查询来获得更简洁的选项：
df.query('ms < ms.quantile(.95)')
于 2021-10-09T14:46:34.437 回答