5

我正在探索不同的 PubSub 平台，我想知道 Kafka 在收听多个主题方面有什么限制。例如考虑这个用例。我们有火车、车站入口、所有发布遥测数据的设备。目前这是在 MQ 上完成的，但随着数据速率的增加、智能列车等的增加，我们需要转移到新的 PubSub/流媒体平台，当然 Kafka 也在该列表中。

正如我所看到的，有两种策略可以将此遥测数据聚合到流中：

  1. 消费聚合，其中每个火车/设备最初都有自己的主题，主题聚合是使用正则表达式主题/虚拟主题完成的
  2. 在生产上聚合，其中所有火车都生产到一个主题，消费者在必要时使用过滤器来挑选单个生产者

据我了解，Kafka 并不特别适合大量主题（> 10.000），但可以做到。正则表达式主题是否能够聚合 2000、3000 个主题？

4

1 回答 1

1

从技术角度来看，是可以做到的；但在实践中，这并不常见。为什么？动物园管理员。建议集群每个代理最多有4000 个分区。这部分是由于在 Zookeeper 上为所有这些执行领导者选举的开销。

我建议你在 Confluent 的博客上阅读这些关于这个有趣主题的博文：

于 2021-07-22T04:41:29.727 回答