2

在 Github（或其他地方）上是否有一些使用 Apache Kafka（首选 0.8 版）的好的演示项目？我们一直在用一些玩具项目对其进行测试。但我想看看一些现实世界中更大的项目。

4

3 回答 3

4

玩具项目与演示项目一样好。编写自己的简单生产者/消费者会很有趣。您可以创建自己的演示项目（这样做的同时您会学到很多东西）。考虑一个需要大量流数据的问题（想想正在运行的应用程序的日志）。现在让 Kafka 读取这些日志。Kafka 只是一种消息队列。除非您写给您的消费者，否则我认为不会有任何乐趣。因此，对于现实世界的消费者提货来说，Twitter Storm。将应用程序的所有日志行发送到 Storm Consumer（又名 Kafka Spout）拾取这些行并将它们发送到 Bolts 的代理（Spout/Bolt 是 Storm 术语，类似于 Map Reduce，但用于实时）。

这样，您将拥有一个完整的演示应用程序。

现在主要问题。如何生成日志以提供给 Kafka（对于演示项目，如果您没有任何应用程序）。有大量可用的庞大数据集（开源）。从 Youtube 到亚马逊再到 Twitter，都提供它们。只需下载它并考虑一些应用程序。例如，考虑 Youtube 视频日志 ( http://netsg.cs.sfu.ca/youtubedata/ )。模拟他们即将上线。将它们输入到 Kafka。让 Storm Consumer（或 Kafka Spout）从 Kafka 代理中为您选择该日志行。将每一行日志提供给 Bolt，其中 Bolt 只是读取该行（进行一些分析）并计算最近 X 分钟内观看的视频的最热门/趋势类型。

编写所有这些应该不会花费太多时间。享受！

于 2013-06-28T09:32:52.937 回答
0

你可以试试这个https://github.com/wurstmeister/storm-kafka-0.8-plus 使用 0.8 构建

于 2013-08-23T13:34:15.733 回答
0

我很长一段时间一直在使用kafka。我正在使用franz-kafka nodejs 客户端来实现 pubsubhubbub 规范。

我也没有找到任何使用 kafka 的项目，但是您可以问我任何问题，我会尽力回答。
谢谢

于 2013-02-03T16:15:46.810 回答