apache-pig - 在列中查找第二大条目

Question

是否有一种计算上有效的方法来查找列中的前 2 个条目而不仅仅是顶部的条目？

谢谢。

Answer 1

根据列的大小，您可以做两件简单的事情：

运行 max 一次，删除 max 元素，再次运行 max ，然后您将获得第二高的值。

或者，您可以对数据进行排序或使用最大堆来存储它。排序后的数据更易于使用。

对于小型数据集，第一种方法会更有效。对于较大的集合，在找到所需值之前对其进行排序更有意义。