load-balancing - kafka 0.8如何实现消息级负载均衡？

Question

我们知道，在 kafka 0.8 中，producer 直接连接到 broker，而不连接到 zookeeper。比它如何在每个请求的基础上实现基于 Zookeeper 的负载平衡？实际上，当创建一个主题时，它的分区将分布在一个或多个代理中。发送消息时，会根据其关键字将其投递到某个分区。也就是说，一定要发送到固定broker上的固定partition。所谓的负载均衡是如何工作的？

Answer 1

生产者端的负载平衡有效地取决于您是希望代理根据使用提供的密钥自动分区还是让代理处理消息自动转到哪个分区。

如果您不想指定分区键，则不必指定分区键，因此您的负载平衡仅限于给定主题可用的分区数，而不是分配给键的分区数。

Answer 2

kafka 将需要一个 Zookeepeer 实例来连接到代理。我们可以通过使用默认分区器或自定义分区器写入主题中的分区来实现负载平衡。