0

是否有一个 Pig UDF 可以计算博客中的时间差？

假设我有以下格式的博客：

10.171.100.10 - - [12/Jan/2012:14:39:46 +0530] "GET /amazon/navigator/index.php
 HTTP/1.1" 200 402 "someurl/page1" "Mozilla/4.0 (
compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.2; .NET CLR 3.0.4506
.2152; MS-RTC LM 8; .NET CLR 3.5.30729; .NET CLR 2.0.50727)"
10.171.100.10 - - [12/Jan/2012:14:41:47 +0530] "GET /amazon/header.php HTTP/1.1
" 200 4376 "someurl/page2" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.2; .NET CLR 3.0.450
6.2152; MS-RTC LM 8; .NET CLR 3.5.30729; .NET CLR 2.0.50727)"
10.171.100.10 - - [12/Jan/2012:14:44:15 +0530] "GET /amazon/navigator/navigator
.php HTTP/1.1" 200 912 "someurl/page3" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.2; .NET
 CLR 3.0.4506.2152; MS-RTC LM 8; .NET CLR 3.5.30729; .NET CLR 2.0.50727)"

10.171.100.10访问过IP 的用户somurl/page1 at 12/Jan/2012:14:39:46（博客中的第一个条目）。下一个用户访问someurl/page2于12/Jan/2012:14:41:47。因此，用户在 page1 上停留了 2mts 1sec。同样，用户在 page2 上停留了 2mts 28 秒（14.44:15 - 14:41.47）。我不在乎用户在 page3 上停留了多长时间，因为我没有什么可以与之比较的。输出可以是：

10.171.100.10 someurl/page1 121 sec 
10.171.100.10 someurl/page2 148 sec etc ..

博客将有数百万行，IP 不一定按排序顺序。关于如何使用 Pig UDF 或任何其他技术进行此操作的任何建议？

4

1 回答 1

0

我不知道默认情况下会使用以下行中的内容来生成一些内容的任何函数，因为序列是可变的，因此非常不可靠。

您必须编写自己的 UDF。为了优化计算（如果您有数十亿行），您可能希望在每个 IP（或 IP 组）上启动 MapReduce 作业之前ORDER通过IP和date、和到GROUP您的数据集，IP以确保所有行对应于特定的IP由同一个节点处理。

另外，我建议您多考虑一下您要用来计算在页面上花费的时间的规则：用户何时仍然活跃，用户何时返回？您最终可能会得到很长的时间范围。

于 2013-03-05T11:20:37.740 回答