hadoop - Pig SUM 一列，直到它达到某个值并返回行

Question

有人可以帮我计算一个列的总和，直到它达到某个值。用例：产生 50% 收入的顶级产品。

有没有像piggybank这样的图书馆来完成它，我在piggybank中找不到它。

我正在尝试实施UDF，但我担心这是唯一的方法:(。

这是数据结构的样子-

productId、totalProfitByProduct、totalProfitByCompany、totalRevenueOfCompany。

totalProfitByProduct 上的数据按降序排列。totalProfitByCompany、totalRevenueOfCompany 对于每一行都保持不变。

现在我想从顶部对上面的每个产品应用总和超过 totalProfitByProduct 并获得产生超过 50% 的 totalProfitByCompany 或 totalRevenueOfCompany 的顶级产品

Answer 1

piggybank 有百分位 UDf，可用于您的要求。

Pig Script 连同 udf 可以帮助您实现它。