0

reducer的输入如下

key: 12

List<values> : 
               1,2,3,2013-12-23 10:21:44

               1,2,3,2013-12-23 10:21:59

               1,2,3,2013-12-23 10:22:07

所需的输出如下：

1,2,3,2013-12-23 10:21:44,15
1,2,3,2013-12-23 10:21:59,8
1,2,3,2013-12-23 10:22:07,0

请注意最后一列是 10:21:59 减去 10:21:44。日期（下一个） - 日期（当前）

我尝试加载到内存中并减去，但这会导致 java 堆内存问题。非常感谢您的帮助。此密钥的数据大小很大 > 1 GB，无法放入主内存。

4

2 回答 2

0

reduce()在您的方法中可能类似于此伪代码的内容：

long lastDate = 0;
V lastValue = null;

for (V value : values) {
    currentDate = parseDateIntoMillis(value);
    if (lastValue != null) {
        context.write(key, lastValue.toString() + "," + (currentDate - lastDate));
    }
    lastDate = currentDate;
    lastValue = value;
}
context.write(key, lastValue.toString() + "," + 0);

显然会有整理工作，但总体思路相当简单。

请注意，由于您需要将下一个值的日期作为当前值计算的一部分包含在内，因此对值的迭代会跳过第一次写入，因此在循环之后进行额外的写入以确保考虑所有值。

如果您有任何问题，请随时提出。

于 2013-06-12T11:35:16.070 回答
0

您可以通过以下代码来完成

reduce (LongWritable key, Iterable<String> Values, context){
  Date currentDate = null;
  LongWritable  diff = new LongWritable();

 for (String value : values) {
    Date nextDate = new Date(value.toString().split(",")[3]);
    if (currentDate != null) {
        diff.set(Math.abs(nextDate.getTime()-currentDate.getTime())/1000)
        context.write(key, diff);
    }
    currentDate = nextDate;
}

}

于 2013-06-12T14:06:51.257 回答