hadoop - 猪的分层抽样？

Question

有谁知道如何对猪进行分层抽样？（维基百科）

目前，我做了类似的事情：

relation2 = SAMPLE relation1 0.05;

但是我的数据集包含一个标签列，其中出现了几次，其中一些很少见（例如 0.5 %），我希望我的随机下采样不要忘记所有这些。

非常感谢。

Answer 1

RANDOM()您可以通过使用然后过滤掉值低于 0.95 的行来实现自己的采样方法。因此，如果您想对此采样进行分层，您可以计算行的哪一部分包含某个值，然后相应地缩放您的随机值，以便以不同的速率对不同的值进行采样。