3

我无法理解 HiveQL rank()。我在 WWW 上找到了一些 rank UDF 的实现，例如Edward's nice example。我可以加载和访问这些功能，但我不能让它们做我想做的事。下面是一个详细的例子：

将 UDF 加载到 CLI 进程中：

$ javac -classpath /home/hadoop/hadoop/hadoop-core-1.0.4.jar:/home/hadoop/hive/lib/hive-exec-0.10.0.jar com/m6d/hiveudf/Rank2.java 
$ jar -cvf Rank2.jar com/m6d/hiveudf/Rank2.class
hive> ADD JAR /home/hadoop/MyDemo/Rank2.jar;
hive> CREATE TEMPORARY FUNCTION Rank2 AS 'com.m6d.hiveudf.Rank2';

创建表：

create table purchases (
  SalesRepId String, 
  PurchaseOrderId INT, 
  Amount INT
) 
ROW FORMAT DELIMITED
  FIELDS TERMINATED BY ','
  LINES TERMINATED BY '\n';

从此 CSV 加载数据：

Jana,1,100
Nadia,2,200
Nadia,3,600
Daniel,4,80
Jana,5,120
William,6,170
Daniel,7,140

通过 CLI 执行此操作：

LOAD DATA 
  LOCAL INPATH '/home/hadoop/MyDemo/purchases.csv'
  INTO TABLE purchases;

现在我可以看到我的顶级销售代表：

select SalesRepId,sum(amount) as volume
from purchases
group by SalesRepId
ORDER BY volume DESC;

Nadia 卖出了 800 美元的东西，Daniel 和 Jana 都卖出了 220 美元，William 卖出了 170 美元

SalesRep    Amount
--------    ------
Nadia       800
Daniel      220
Jana        220
William     170

现在我要做的就是给他们编号：Nadia 是 #1，Daniel 和 Jana 并列 #2，William 是 #4（不是 #3）

select SalesRepId, V.volume,rank2(V.volume)
from 
(select SalesRepId,sum(amount) as volume
from purchases
group by SalesRepId
ORDER BY volume DESC) V;

这是我得到的，但不是我想要的：

SalesRep   Amount  Rank
--------   ------  ----
Nadia       800      1
Daniel      220      1
Jana        220      2
William     170      1

这就是我想要的，但我不能让蜂巢为我做这件事：

SalesRep   Amount  Rank
--------   ------  ----
Nadia       800      1
Daniel      220      2
Jana        220      2
William     170      4

你能帮我用正确的 HiveQL 对我的销售代表进行排名吗？

感谢 JtheRocker 的回复。他的改变导致了这个列表：

SalesRep   Amount  Rank
--------   ------  ----
William     170     1
Daniel      220     2
Jana        220     2
Nadia       800     3

将 Nadia 显示为第 4 位（不是第 3 位）的轻微修改：

private row_number;
@Override
public Object evaluate(DeferredObject[] currentKey) throws HiveException {
  row_number++;
  if (!sameAsPreviousKey(currentKey)) {
    this.counter = row_number;
    copyToPreviousKey(currentKey);
  }
return new Long(this.counter);
}
4

2 回答 2

7

借助Hive 0.11 中引入的Windowing 和 Analytics 函数，您可以使用：

select SalesRepId, volume as amount , rank() over (order by V.volume desc) as rank from 
(select SalesRepId,sum(amount) as volume from purchases group by SalesRepId) V;
于 2013-08-12T15:23:58.313 回答
1

如果您有如下评估功能，假设您直接使用您提到的指南中的功能，

private long counter;
@Override
  public Object evaluate(DeferredObject[] currentKey) throws HiveException {
    if (!sameAsPreviousKey(currentKey)) {
      this.counter = 0;
      copyToPreviousKey(currentKey);
    }

    return new Long(++this.counter);
  }

尝试将其更改为以下内容，以便在找到新卷时不会重置计数器，而是在找到相同卷时不增加，而仅在找到新卷时增加。

private long counter;
@Override
  public Object evaluate(DeferredObject[] currentKey) throws HiveException {
    //when not same as previous key you rather increment
    if (!sameAsPreviousKey(currentKey)) {
      this.counter ++;
      copyToPreviousKey(currentKey);
    }
    //else you keep the counter as it is
    return new Long(++this.counter);
 }

告诉我这是否有帮助。

于 2013-08-10T06:44:15.883 回答