apache-spark - 火花流 + kafka 兼容性问题

Question

火花流与 0.8.2.1 以上的 kafka 版本兼容吗？编写自定义接收器是使火花流使用 0.9 以上的 kafka 版本的唯一选择吗？

Answer 1

我刚刚在 server.properties 文件中添加了“inter.broker.protocol.version=CURRENT_KAFKA_VERSION（例如 0.8.2 或 0.9.0.0）”。这将使旧的 0.8.2.1 消费者从新版本的 kafka 代理接收数据。