3

我有以下格式的特定班级学生的分数数据

StudentId@CourseId@Marks1@Marks2@Marks3@Marks4@Marks5

01001@104@13@18@25@86@23
01001@106@58@30@10@12@59
01001@108@60@81@97@83@26
01001@110@68@95@11@73@63
01001@112@55@22@74@71@22
01002@104@20@72@76@28@99
01002@106@52@17@20@67@91
01002@108@18@46@61@73@14
01002@110@86@59@50@35@65
01002@112@45@76@97@37@17
.......

我想计算学生在 5 门不同考试中获得的 5 门不同课程（由 5 个不同课程 ID 给出）的平均分数。

我的 Map 和 Reduce 类如下：

public static class Map extends MapReduceBase implements Mapper<LongWritable,Text,Text,DoubleWritable>{
    private Text SID=new Text();
    public void map(LongWritable key, Text value, OutputCollector<Text,DoubleWritable> output,Reporter reporter)throws IOException{
        String data=value.toString();
        String arr[]=data.split("@");
        int i=2;
        double score=0;
        while(i<arr.length){
            score+=Integer.parseInt(arr[i]);
            i++;
        }
        //Dividing The Score to give the average score in a particular course
        score=score/5;
        SID.set(arr[0]);
        output.collect(SID,new DoubleWritable(score));
    }
}

和

  public static class Reduce extends MapReduceBase implements Reducer<Text,DoubleWritable,Text,DoubleWritable>{
    public void reduce(Text key,Iterator<DoubleWritable> values,OutputCollector<Text,DoubleWritable> output,Reporter reporter)throws IOException{
        double Total=0.0;
        while(values.hasNext()){
            Total+=values.next().get(); 
        }
        //Dividing By 5 to obtain the average score for a particular student
        output.collect(key,new DoubleWritable((Total/5)));              
    }
}

此外，在主类中，除了定义其他配置外，我将上述Reduce类设置为既是类又Reducer是Combiner类。

但是我获得的输出如下

 01001  9.879999999999999
 01002  10.568
 01003  8.712
 01004  10.68
 01005  9.335999999999999
 ....

这表明学生的总分除以 125 而不是 25。但是，score=score/5从Map课堂上删除语句后，我得到了正确的结果。现在根据我的理解（并且对此不太确定），这是因为在这种情况下Reducer和Combiner类是相同的。是这样吗？在这种情况下，班级是如何Combiner工作的？

4

1 回答 1

3

执行映射后，在每个节点上执行组合器。

然而，仅在求和的最后才需要除以 5（不同课程的数量）。因此，您只能在减速器的末端进行划分，而不能在组合器的末端进行划分。

基本上你可以：

  • 移除组合器（但保留减速器）
  • 定义一个reducer，它的作用与reducer完全一样，但最后不分
于 2013-06-27T14:52:34.560 回答