4

我想设计一个具有向 Kafka 发送消息的应用程序浏览器的系统。消费者应该以 avro 格式将事件写入 HDFS。

这应该是什么样子?

什么时候是确认消息的好时机?

我如何才能附加到 hdfs 文件?我阅读了有关 cdk 的信息,它看起来像是朝着好的方向发展。我不能是如何/何时刷新记录。

有没有人有一个很好的例子?

4

1 回答 1

3

您是否考虑过将 nathanmarz 的风暴与 Kafka 一起使用。Kafka 有一个很好的集成支持,名为Kafka Spout从 Kafka 队列(主题)中提取数据并馈送到风暴拓扑。然后,您可以使用 Storm 轻松执行几乎所有操作bolt,甚至写入 HDFS。

对于示例,您可以通过以下项目快速查看,希望这会给您一些提示

Kafka-hadoop 加载器
kafka-hadoop 消费者

还可以看看这篇关于 Kafka 与 HDFS 交互的文章

于 2013-10-24T17:54:32.887 回答