3

在设计流式处理管道时，如果我有许多主题，这些主题至少有一个分区但可能没有数据进入，那么可能会产生什么成本？

例如，对于一个消费者，我可以选择拥有一个包含所有数据和许多分区的“大型主题”，或者我可以选择将该数据（按租户、帐户或用户等）拆分为多个主题，默认情况下，单个分区。我对第二种情况的担心是会有很多主题/分区看不到数据。那么，这个未使用的分区是否会产生任何成本，或者未使用的主题是否不会产生任何成本。

4

2 回答 2

6

首先，一个胖主题和很多分区与一个以上包含几个分区的主题没有区别。主题只是为了在事件之间进行逻辑区分。Kafka 只关心分区的数量。

其次，有很多分区会导致一些问题：

  • 打开的文件太多：

每个分区都映射到代理中文件系统中的一个目录。在该日志目录中，每个日志段将有两个文件（一个用于索引，另一个用于实际数据）。

  • 更多的分区在代理和消费者端都需要更多的内存：

代理为它们复制的每个分区分配一个大小为replica.fetch.max.bytes 的缓冲区。如果 replica.fetch.max.bytes 设置为 1 MiB，并且您有 1000 个分区，则需要大约 1 GiB 的 RAM。

  • 更多分区可能会增加不可用性：

如果作为控制器的代理出现故障，则 Zookeeper 会选择另一个代理作为控制器。At that point newly elected broker should read metadata for every partition from Zookeeper during initialization.

例如，如果 Kafka 集群中有 10,000 个分区，并且从 ZooKeeper 初始化元数据每个分区需要 2 毫秒，这可能会使不可用窗口增加 20 秒。

您可以从以下链接获得更多信息：
https ://www.confluent.io/blog/how-choose-number-topics-partitions-kafka-cluster/ https://docs.cloudera.com/documentation/kafka/latest /topics/kafka_performance.html

于 2020-01-15T08:51:55.100 回答
2

假设提到的主题没有被压缩，那么保留任何最初产生的数据的初始开销，但之后，一个空的主题只是

  1. Zookeeper 中的元数据
  2. 任何消费者组协调器中的元数据，以及任何活动消费者线程的浪费处理
  3. 磁盘上的空目录

对于前两个，拥有大量主题可能会增加请求延迟，从而导致不健康的集群。

于 2020-01-15T02:12:30.157 回答