我尝试在 Spark 中使用 Avro GenericRecords,但得到了 java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapper
https://gist.github.com/rjurney/8b90e9b709d061cc0b94
chill 项目增加了对 Scala 的 Kryo/Avro 支持。如何结合 Kryo、Avro、chill 和 Spark 来加载 Avros?
我尝试在 Spark 中使用 Avro GenericRecords,但得到了 java.io.NotSerializableException: org.apache.avro.mapred.AvroWrapper
https://gist.github.com/rjurney/8b90e9b709d061cc0b94
chill 项目增加了对 Scala 的 Kryo/Avro 支持。如何结合 Kryo、Avro、chill 和 Spark 来加载 Avros?
chill-avro 不是用于从 FS 加载数据,而是用于序列化飞行数据。有关更多信息,请参阅下面的链接
https://github.com/twitter/chill/issues/171#issuecomment-45049396