我想设计一个具有向 Kafka 发送消息的应用程序浏览器的系统。消费者应该以 avro 格式将事件写入 HDFS。
这应该是什么样子？
什么时候是确认消息的好时机？
我如何才能附加到 hdfs 文件？我阅读了有关 cdk 的信息，它看起来像是朝着好的方向发展。我不能是如何/何时刷新记录。
有没有人有一个很好的例子？
问问题
8861 次
1 回答
3
您是否考虑过将 nathanmarz 的风暴与 Kafka 一起使用。Kafka 有一个很好的集成支持，名为Kafka Spout从 Kafka 队列（主题）中提取数据并馈送到风暴拓扑。然后，您可以使用 Storm 轻松执行几乎所有操作bolt，甚至写入 HDFS。
对于示例，您可以通过以下项目快速查看，希望这会给您一些提示
Kafka-hadoop 加载器
kafka-hadoop 消费者
还可以看看这篇关于 Kafka 与 HDFS 交互的文章
于 2013-10-24T17:54:32.887 回答