我想设计一个具有向 Kafka 发送消息的应用程序浏览器的系统。消费者应该以 avro 格式将事件写入 HDFS。
这应该是什么样子?
什么时候是确认消息的好时机?
我如何才能附加到 hdfs 文件?我阅读了有关 cdk 的信息,它看起来像是朝着好的方向发展。我不能是如何/何时刷新记录。
有没有人有一个很好的例子?
我想设计一个具有向 Kafka 发送消息的应用程序浏览器的系统。消费者应该以 avro 格式将事件写入 HDFS。
这应该是什么样子?
什么时候是确认消息的好时机?
我如何才能附加到 hdfs 文件?我阅读了有关 cdk 的信息,它看起来像是朝着好的方向发展。我不能是如何/何时刷新记录。
有没有人有一个很好的例子?
您是否考虑过将 nathanmarz 的风暴与 Kafka 一起使用。Kafka 有一个很好的集成支持,名为Kafka Spout
从 Kafka 队列(主题)中提取数据并馈送到风暴拓扑。然后,您可以使用 Storm 轻松执行几乎所有操作bolt
,甚至写入 HDFS。
对于示例,您可以通过以下项目快速查看,希望这会给您一些提示
Kafka-hadoop 加载器
kafka-hadoop 消费者
还可以看看这篇关于 Kafka 与 HDFS 交互的文章