python - 子样本熊猫数据框

Question

我从文件中DataFrame加载了一个。.tsv我想生成一些探索性的情节。问题是数据集很大（约 100 万行），因此图上的点太多而看不到趋势。另外，绘制需要一段时间。

我想对 10000 个随机分布的行进行子抽样。这应该是可重现的，因此每次运行都会生成相同的随机数序列。

这：以相同的方式对两个熊猫数据框进行采样似乎是在正确的轨道上，但我不能保证子样本的大小。

Answer 1

您可以使用 . 从索引中选择随机元素np.random.choice。例如选择 5 个随机行：

df = pd.DataFrame(np.random.rand(10))

df.loc[np.random.choice(df.index, 5, replace=False)]

此功能是 1.7 中的新功能。如果您想要一个具有较旧 numpy 的解决方案，您可以对数据进行洗牌并获取其中的第一个元素：

df.loc[np.random.permutation(df.index)[:5]]

通过这种方式，您的 DataFrame 不再排序，但如果绘图需要这样做（例如，线图），您可以在.sort()之后简单地进行。

Answer 2

不幸的是np.random.choice，对于小样本（不到所有行的 10%）来说似乎很慢，你最好使用普通的 ol' 样本：

from random import sample
df.loc[sample(df.index, 1000)]

对于大型 DataFrame（一百万行），我们看到小样本：

In [11]: %timeit df.loc[sample(df.index, 10)]
1000 loops, best of 3: 1.19 ms per loop

In [12]: %timeit df.loc[np.random.choice(df.index, 10, replace=False)]
1 loops, best of 3: 1.36 s per loop

In [13]: %timeit df.loc[np.random.permutation(df.index)[:10]]
1 loops, best of 3: 1.38 s per loop

In [21]: %timeit df.loc[sample(df.index, 1000)]
10 loops, best of 3: 14.5 ms per loop

In [22]: %timeit df.loc[np.random.choice(df.index, 1000, replace=False)]
1 loops, best of 3: 1.28 s per loop    

In [23]: %timeit df.loc[np.random.permutation(df.index)[:1000]]
1 loops, best of 3: 1.3  s per loop

但大约 10% 的情况大致相同：

In [31]: %timeit df.loc[sample(df.index, 100000)]
1 loops, best of 3: 1.63 s per loop

In [32]: %timeit df.loc[np.random.choice(df.index, 100000, replace=False)]
1 loops, best of 3: 1.36 s per loop

In [33]: %timeit df.loc[np.random.permutation(df.index)[:100000]]
1 loops, best of 3: 1.4 s per loop

如果您要对所有内容进行采样（不要使用示例！）：

In [41]: %timeit df.loc[sample(df.index, 1000000)]
1 loops, best of 3: 10 s per loop

注意： numpy.random 和 random 都接受一个种子，以重现随机生成的输出。

正如@joris 在评论中指出的那样，选择（没有替换）实际上是置换的糖，所以它是恒定的时间并且对于较小的样本来说更慢也就不足为奇了......

Answer 3

如今，人们可以简单地sample在 DataFrame 上使用该方法：

>>> help(df.sample)
Help on method sample in module pandas.core.generic:

sample(self, n=None, frac=None, replace=False, weights=None, random_state=None, axis=None) method of pandas.core.frame.DataFrame instance
    Returns a random sample of items from an axis of object.

可复制性可以通过使用random_state关键字来实现：

>>> len(set(df.sample(n=1, random_state=np.random.RandomState(0)).iterations.values[0] for _ in xrange(1000)))
1
>>> len(set(df.sample(n=1).iterations.values[0] for _ in xrange(1000)))
40