0

我有一堂课：

 class Class1 implements Writable{
       int intField;
       double doubleField;
       Class2 refToClass2;

       public void readField(DataInput in){...}
       public void write(DataOutput out){...}


 class Class2 implements Serializable, Writable{
     ....
 }

当使用 Class1 作为输出值时，Hadoop 在 reducer 端抛出此错误：

 java.lang.NullPointerException
at org.apache.hadoop.io.serializer.SerializationFactory.getSerializer(SerializationFactory.java:73)
at org.apache.hadoop.io.SequenceFile$Writer.init(SequenceFile.java:961)
at org.apache.hadoop.io.SequenceFile$Writer.<init>(SequenceFile.java:892)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:393)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:354)
at org.apache.hadoop.io.SequenceFile.createWriter(SequenceFile.java:476)
at org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat.getRecordWriter(SequenceFileOutputFormat.java:61)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:569)

我的直觉告诉我，问题与 Class1 或更可能与实现 Serializable 和 Writable 的 Class2 有关。

有任何想法吗 ？

更新：

我将问题本地化：问题是 Class1，现在，我已更改为仅实现 Writable（而不是 Serializable）。我还对其进行了更改，因为它不再包含对 Class2 的引用。我仍然得到同样的错误。如果我将 Class1 替换为另一个 Writable 实现作为输出值，它就可以工作！为什么 ？？

4

1 回答 1

1

问题是我犯了一个愚蠢的错误：我没有更新 jar。所以，基本上 Class1 没有在旧的（使用中的）jar 中实现 Writable 接口。

作为一般性观察：OP中指定的错误的根本原因是HADOOP无法找到您尝试序列化的特定类型的序列化程序（直接或间接，例如通过使用该类型作为输出核心价值）。由于以下两个原因之一，Hadoop 找不到 Serilizer：

  1. 您的类型不可序列化（即它不实现可写或可序列化）
  2. 对于您的类型实现的序列化类型，Hadoop 没有可用的序列化器（例如：您的类型实现 Writable 但由于某种原因 hadoop 无法使用 org.apache.hadoop.io.serializer.WritableSerialization 类）
于 2012-09-16T18:41:02.210 回答