python - R中的kafka消费者

Question

我希望用 Python 或 R（最好是 R）来破解一个 kafka 消费者。使用 kafka 控制台使用者，我可以 grep 字符串并检索相关数据，但是在 R 中适当地解析它时我不知所措。

有其他语言（例如：PHP、CPP）可用的 kafka 客户端，但从数据分析的角度来看，R 中的一个客户端会有所帮助。

如果这个论坛上的 R 专家开发人员能够暗示/建议资源，让我在这个方向上取得进展，那就太好了。

阿帕奇卡夫卡：incubator.apache.org/kafka/

卡夫卡消费者客户端：https ://github.com/kafka-dev/kafka/tree/master/clients

Answer 1

[2015 更新] 有一个库可以让您连接到 kafka -rkafka

http://cran.r-project.org/web/packages/rkafka/rkafka.pdf

Answer 2

由于 Kafka 有一个C++ API，您可以使用Rcpp将其带到 R 中。

编辑以回应对 R-only 解决方案的评论：我不太了解 Kafka 来回答，但一般来说，中间件运行速度很快，连接多个客户端、流等。所以你会在某个地方简化一些事情来获得 R（单按原样穿线）来玩它。