apache-spark - 卡夫卡火花流集成

Question

我已经在我的系统中使用 maven 设置了 Kafka 和 spark 流。除了在生产者中输入内容并在消费者中看到之外，我想知道任何可以帮助我进行更广泛操作的建议。

如何创建一个源，将 json 或 avro 等数据连续放入 Kafka 生产者，这样我就可以用 spark 处理它并从中执行一些操作。需要建议我该如何设计这个

Answer 1

请在下面找到链接。

https://github.com/hortonworks-gallery/tutorials/blob/master/2015-09-26-transporting-real-time-event-stream-with-apache-kafka.md

这是一个 HDP 教程.. 如果您不使用 HDP 堆栈.. 请忽略教程的初始部分..

它通过您可以生成的 jar 文件拥有一个 Kafka 生产者

在本教程中，使用 Java API 通过 New York City Truck Routes (kml) 文件生成卡车事件。

您需要下载数据文件和Java代码和jar文件..

教程中有详细说明

希望这可以帮助