hadoop - 为烫伤添加 parquet-avro 支持

Question

如何创建一个Scalding Source可以处理 和 之间avro的转换parquet。

解决方案应该：

 1. Read from parquet format and convert to avro memory representation
 2. Write avro objects into a parquet file

注意：我注意到 Cascading 有一个用于利用 thrift 和 parquet 的模块。我突然想到这将是一个开始寻找的好地方。我还在google-groups/scalding-dev上开了一个帖子

Answer 1

试试我们在这个分叉中的最新变化 - https://github.com/epishkin/scalding/tree/parquet_avro/scalding-parquet