2

通过说集群信息，我指的是像这样的信息

  1. 订阅的消费者/消费者组
  2. 读取和提交的偏移量
  3. 分区的领导者和追随者
  4. 服务器上的主题等。

Zookeeper 是否将此信息保存在自己的数据库中（尽管到目前为止我从未听说过 zookeeper 拥有自己的任何数据库），或者它将这些信息存储在某些主题等的 Kafka 集群中？

编辑：和后续问： Zookeeper 如何从 __consumer_offsets 主题中检索消费者偏移量？

4

1 回答 1

3

ZooKeeper 数据模型 ZooKeeper 具有分层名称空间，很像分布式文件系统。唯一的区别是命名空间中的每个节点都可以有与其关联的数据以及子节点。这就像拥有一个允许文件也成为目录的文件系统。节点的路径始终表示为规范的、绝对的、斜线分隔的路径；没有相对参考。

所以没有数据库。

偏移量保存在kafka中，而不是zookeeper中，在这个主题中：__consumer_offsets

在 zookeeper 节点中：

给出活跃经纪人的名单

ls /brokers/ids

给出主题列表

ls /经纪人/主题

提供经纪人 id '0' 的更详细信息

获取 /brokers/ids/0

在这里，您可以阅读有关 zookeeper 中 kafka 数据结构的更多信息：Kafka datastructures zookeeper

有一个完全删除 zookeeper 的 KIP：KIP Remove zookeeper

于 2020-07-05T09:31:05.690 回答