我对使用 LinkedIn 的 camus 很陌生,并且已经成功地将数据文件从 Kafka 写入 Hdfs。通常,我使用JsonStringMessagdecoder
读取 JSON 并将其写入.dat
文件使用StringRecordWriterProvider
.
但是可以写入多种文件类型吗?
假设 jsonkafka
如下:
{ "user":"John", "message":"Hi how are you?" }
现在我想John,Hi how are you?
写入一个文件,同时user,message
写入.meta
同一位置的另一个文件()。可能吗 ?