我正在为流分析制作流式数据库。谁能给我一步一步的代码来更新数据库(如 mySQL 或 Hive)中的 Kafka 消息以将其用于分析?
我设置了 Zookeeper 和 Kafka,但无法将消息保存到任何持久性数据库以将其用于报告。
我正在为流分析制作流式数据库。谁能给我一步一步的代码来更新数据库(如 mySQL 或 Hive)中的 Kafka 消息以将其用于分析?
我设置了 Zookeeper 和 Kafka,但无法将消息保存到任何持久性数据库以将其用于报告。
Spark 与 Kafka 配合得很好。请参阅本文档。这是 Spark 的 Kafka 消费者 这里是让他们一起工作的优秀教程。
一旦你让 Kafka + Spark 一起工作,你就可以将消息存储到数据存储中。Spark 和 Cassandra 是一种流行的组合。请参阅这些教程以供参考。
http://planetcassandra.org/getting-started-with-apache-spark-and-cassandra/
这可能会帮助您入门。LinkedIn 的 Kafka 到 HDFS 管道