3

我写了一个 mapreduce 函数，其中记录以下列格式发出

{userid:<xyz>, {event:adduser, count:1}}
{userid:<xyz>, {event:login, count:1}}
{userid:<xyz>, {event:login, count:1}}
{userid:<abc>, {event:adduser, count:1}}

其中 userid 是键，其余的是该键的值。在 MapReduce 函数之后，我想得到以下格式的结果

{userid:<xyz>,{events: [{adduser:1},{login:2}], allEventCount:3}}

为了实现这一点，我编写了以下reduce函数，我知道这可以通过group by..在聚合框架和mapreduce中实现，但是对于复杂的场景我们需要类似的功能。所以，我正在采用这种方法。

var reducefn = function(key,values){
var result = {allEventCount:0, events:[]};
values.forEach(function(value){
    var notfound=true;
    for(var n = 0; n < result.events.length; n++){
        eventObj = result.events[n];
        for(ev in eventObj){
            if(ev==value.event){
                result.events[n][ev] += value.allEventCount;
                notfound=false;
                break;
            }
        }
    }
    if(notfound==true){ 
        var newEvent={}
        newEvent[value.event]=1; 
        result.events.push(newEvent);
    }
    result.allEventCount += value.allEventCount;
});
return result;

}

这运行完美，当我运行 1000 条记录时，当有 3k 或 10k 条记录时，我得到的结果是这样的

{ "_id" : {...}, "value" :{"allEventCount" :30, "events" :[ { "undefined" : 1},
{"adduser" : 1 }, {"remove" : 3 }, {"training" : 1 }, {"adminlogin" : 1 }, 
{"downgrade" : 2 } ]} }

无法理解这undefined是从哪里来的，而且各个事件的总和小于 allEventCount。集合中的所有文档都有非空字段event，因此没有未定义的机会。

Mongo DB 版本 -- 2.2.1 环境 -- 本地机器，无分片。

在reduce函数中，为什么result.events[n][ev] += value.allEventCount;类似的操作result.allEventCount += value.allEventCount;通过了，这个操作会失败呢？

johnyHK 建议的更正答案

减少功能：

    var reducefn = function(key,values){
    var result = {totEvents:0, event:[]};
    values.forEach(function(value){
        value.event.forEach(function(eventElem){
            var notfound=true;
            for(var n = 0; n < result.event.length; n++){
                eventObj = result.event[n];
                for(ev in eventObj){
                for(evv in eventElem){
                    if(ev==evv){
                        result.event[n][ev] += eventElem[evv];
                        notfound=false;
                        break;
                    }
                }}
            }
            if(notfound==true){ 
                result.event.push(eventElem);
            }
        });
        result.totEvents += value.totEvents;
    });
    return result;
}
4

1 回答 1

2

emit您从函数中获取的对象的形状map必须与从函数返回的对象相同，因为在处理大量文档（如本例中）时reduce，a 的结果reduce可能会被反馈到。reduce

所以你需要改变你emit的发出这样的文档：

{userid:<xyz>, {events:[{adduser: 1}], allEventCount:1}}
{userid:<xyz>, {events:[{login: 1}], allEventCount:1}}

然后reduce相应地更新您的功能。

于 2013-01-03T14:39:23.057 回答