hadoop - Gobblin MapReduce 从 protobuf 转换为 Parquet

Question

试图找到一个如何使用 Gobblin 将 protobuf 消息转换为 parquet 的示例。找不到任何东西。

Scenario:
- Kafka messages are in Protobuf
- Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS

Gobblin 运行时确实有一个编写器构建器，称为：

public class ParquetDataWriterBuilder extends FsDataWriterBuilder<MessageType, Group> 

https://github.com/apache/incubator-gobblin/blob/master/gobblin-modules/gobblin-parquet/src/main/java/org/apache/gobblin/writer/ParquetDataWriterBuilder.java

但这似乎并没有按原样接收 Protobuf 消息。他们必须首先转换为一个组。

无法弄清楚如何将 protobuf 消息转换为组。

任何指向使用 protobuf 到镶木地板转换的工作 Gobblin 消费者的指针都应该有所帮助。