hadoop - Kafka 主题与 Kafka Connect 合并到 HDFS

Question

是否可以配置 Kafka Connect 的 HDFS 连接器以将多个单独的主题写入/组合到一个文件中？

这些主题将包含具有相同 avro 模式的消息，我希望 KafkaConnect 充当这些 Kafka 主题和 HDFS 之间的中介。在最坏的情况下，主题内容可以在写入 HDFS 后进行组合，但我觉得 HDFS 连接器应该可以实现更简洁、更快捷的方式。

Answer 1

现在 HDFS 连接器会将每个主题写入其自己的目录。您可以在写入后在 HDFS 中组合目录，或者在写入 HDFS 之前在 Kafka 中组合主题，但连接器本身不会这样做。