apache-kafka - Gobblin Kafka 到 HDFS：附加到同一个文件

Question

有没有办法使用 Gobblin 将来自 Kafka 的新消息附加到 HDFS 中的同一文件？现在它每次从 Kafka 读取时都会创建一个新文件。例如，如果每分钟运行一次 Gobblin 作业，就会有大量文件。

请帮忙！

Answer 1

不确定 Gobblin，但恕我直言Apache Flume将是您更好的选择。