1

输入数据集如下所示:

colA,colB,colc,时间

1,2,1,2012-12-22 12:23:30

1,2,3,2012-12-22 12:23:40

1,2,2,2012-12-22 12:24:20

2,3,1,2012-12-22 12:25:30

并且输出将是下一次和当前时间的差异,即(时间+1 - 时间)。请参阅输出列以获取更多信息。

colA,colB,colc,时间,输出

1,2,1,2012-12-22 12:23:30,10

1,2,2,2012-12-22 12:23:40,40

1,2,3,2012-12-22 12:24:20,0

2,3,1,2012-12-22 12:25:30,0

非常感谢您的帮助

4

1 回答 1

2

前两列应该是关键。用于TextInputFormat读取输入文本文件。Mapper 应该发出一个Text 对象,它是colA_colB. 例如。对于数据

1,2,2012-12-22 12:23:30
1,2,2012-12-22 12:23:40
1,2,2012-12-22 12:24:20
2,3,2012-12-22 12:25:30

mapper 会得到 (key, val):

<some long integer X1>, "1,2,2012-12-22 12:23:30"
<some long integer X2>, "1,2,2012-12-22 12:23:40"
<some long integer X3>, "1,2,2012-12-22 12:24:20"
<some long integer X4>, "2,3,2012-12-22 12:25:30"

“一些长整数”只不过是输入文件中行的文件偏移量

Mapper 应该在Text类型的 (key, value) 对下发出:

"1_2" , "2012-12-22 12:23:30"
"1_2" , "2012-12-22 12:23:40"
"1_2" , "2012-12-22 12:24:20"
"2_3" , "2012-12-22 12:25:30"

如您所见,前 3 条记录的键是相同的,而且这些键肯定会出现在同一个 reducer 中。减速器会得到这个:

"1_2" , ["2012-12-22 12:23:30", "2012-12-22 12:23:40", "2012-12-22 12:24:20"]
"2_3" , ["2012-12-22 12:25:30"]

在 reducer 中,从 Text 对象中获取 String并解析这些对象以生成Java Date对象。在那之后,获得两个日期之间的差异将是直截了当的。

于 2013-05-31T11:18:04.093 回答