9

我希望从 Kafka 消费并将数据保存到 Hadoop 和 Elasticsearch 中。我目前已经看到了两种方法：使用 Filebeat 从 Kafka 消费并将其发送到 ES 和使用 Kafka-Connect 框架。有一个 Kafka-Connect-HDFS 和 Kafka-Connect-Elasticsearch 模块。

我不确定使用哪一个来发送流数据。虽然我认为如果我想在某个时候从 Kafka 获取数据并将其放入 Cassandra，我可以为此使用 Kafka-Connect 模块，但 Filebeat 不存在这样的功能。

4

1 回答 1

8

Kafka Connect 可以处理流数据，并且更加灵活。如果你只是要弹性，Filebeat 是一个干净的日志源集成。但是，如果您要从 Kafka 转到多个不同的接收器，那么 Kafka Connect 可能就是您想要的。我建议您查看连接器集线器，以查看当前可供您使用的一些开源连接器示例http://www.confluent.io/product/connectors/

于 2016-09-12T23:39:29.903 回答