java - Mapreduce 映射器将键和值作为文本字段传递

Question

我有一个小项目，其中有一个包含 2 个制表符分隔的文本列的文件。我希望我的映射器从文件中读取它们并将第二列设置为键，将第一列设置为减速器的值，但我似乎无法完成它。然后，我想将 (key, value) 对传递给 reducer，它将为每个键创建一个包含所有值的列表。

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> {

    private final static IntWritable one = new IntWritable(1);
    private Text site = new Text();
    private Text tag = new Text();

    public void map(Object key, Text value, Context context) 
                        throws IOException, InterruptedException {

        StringTokenizer itr = new StringTokenizer(value.toString(), "\t");
        while (itr.hasMoreTokens()) {
            site.set(itr.nextToken());
            tag.set(itr.nextToken());
            context.write(tag, site);
        }
    }
}

我conext.write在线上遇到错误。我该如何解决这个问题？

Answer 1

您正在写入的值（站点）context.write(tag, site);是一个Text对象，但您拥有Mapper<Object, Text, Text, IntWritable>. 您应该将其更改为Mapper<Object, Text, Text, Text>.

目前你告诉它你将输出 anIntWritable作为值。

您也可以删除private final static IntWritable one = new IntWritable(1);，因为它没有被使用。