4

我正在构建一个 map reduce 作业管道（一个 MR 作业的输出作为输入馈送到另一个作业）。传递的值相当复杂，因为存在不同类型的列表和带有值作为列表的哈希映射。Hadoop api 似乎没有 ListWritable。我正在尝试编写一个通用类型，但似乎我无法在我的 readFields 实现中实例化一个通用类型，除非我传入类类型本身：

public class ListWritable<T extends Writable> implements Writable {
    private List<T> list;
    private Class<T> clazz;

    public ListWritable(Class<T> clazz) {
       this.clazz = clazz;
       list = new ArrayList<T>();
    }

    @Override
    public void write(DataOutput out) throws IOException {
        out.writeInt(list.size());
        for (T element : list) {
            element.write(out);
        }
     }

     @Override
     public void readFields(DataInput in) throws IOException{
     int count = in.readInt();
     this.list = new ArrayList<T>();
     for (int i = 0; i < count; i++) {
        try {
            T obj = clazz.newInstance();
            obj.readFields(in);
            list.add(obj);
        } catch (InstantiationException e) {
            e.printStackTrace();
        } catch (IllegalAccessException e) {
            e.printStackTrace();
        }
      }
    }
}

但是 hadoop 要求所有可写对象都有一个无参数构造函数来读回值。有没有人尝试做同样的事情并解决了这个问题？TIA。

4

2 回答 2

2

我有一个像这个一样的广泛的可写库，除了我总是将类型声明为自界泛型类型的抽象类，并且当我使用它时，我声明了一个所有类型都具体化的普通子类。Hadoop 是如此可怕地基于反射，以至于在实际工作中最好不要使用泛型；但是，泛型作为作业 I/O 类型的超类型非常有用。

例如

public abstract class AbstractListWritable< T extends Writable & Cloneable, U extends AbstractListWritable< T, U > >
implements Writable {
    T tCursor;
    List< T > ltBacking;
    protected AbstractListWritable( T tCursor ) {
        this.tCursor = tCursor.clone();
        this.ltBacking = new ArrayList< T >();
    }
    ...
    @Override
    public void readFields(DataInput in) throws IOException {
        int count = in.readInt();
        this.ltBacking.clear();
        for (int i = 0; i < count; i++) {
            tCursor.readFields(in);
            list.add(tCursor.clone());
        }
    }
}

public class TextListWritable extends AbstractListWritable< Text, TextListWritable > {
    public TextListWritable() {
        super( new Text() );
    }
}

Thomas 的回答将允许异构列表，除了因为泛型类型会阻止您创建一个，并且 I/O 几乎总是 Hadoop 中的瓶颈，我不推荐这种策略。

于 2012-07-03T08:11:03.630 回答
0

您必须在每条记录中写下非常冗长的类名，因此我建议您使用强类型。

但是，您的代码必须更改为：

@Override
public void write(DataOutput out) throws IOException {
    out.writeUTF(clazz.getName());
    out.writeInt(list.size());
    for (T element : list) {
        element.write(out);
    }
 }

 @Override
 public void readFields(DataInput in) throws IOException{
 clazz = Class.forName(in.readUTF());
 int count = in.readInt();
 this.list = new ArrayList<T>();
 for (int i = 0; i < count; i++) {
    try {
        T obj = clazz.newInstance();
        obj.readFields(in);
        list.add(obj);
    } catch (InstantiationException e) {
        e.printStackTrace();
    } catch (IllegalAccessException e) {
        e.printStackTrace();
    }
  }
}

然后你也可以提供一个无参数构造函数。但是它将类名作为 UTF-8 字符串作为每条记录的开销。

于 2012-07-03T07:57:34.120 回答