问题标签 [kafka-partition]

kafka领导者是自己分区还是经纪人？我最初的理解是它们是充当读/写代理的分区，然后将它们的价值传递给 ISR。

但是最近我听到他们提到它们，好像它们发生在“经纪人”级别，因此我感到困惑。

我知道还有其他帖子旨在回答这个问题，但那里的答案没有帮助。

我从卡夫卡开始。

我有一个带有 2 个代理（id #2 和 #3）的集群，复制因子为 2。如果我断开一个代理（id #3），我想测试 Kafka 的行为。

#3关闭后，我的主题信息：

每个分区都在每个代理上复制，现在 #2 代理是领导者，没关系。

消息的发布是可以的，但它没有被我的消费者服务消费（我使用的是 Spring-kafka）。

在断开连接的时刻，消费者日志是：

然后什么都没有。动物园管理员日志中没有任何内容。

当我启动代理时，所有消息现在都被消耗掉了。

如果我错了，你能告诉我吗？使用我的主题配置，我假设应该可以断开一个代理，而不会产生任何影响。

我的卡夫卡配置：

还有我的动物园管理员配置：

我使用 Spring Kafka 创建主题：

对于消费者： Config ：

听众：

和我的全局配置：

使用的版本：Kafka：2.4.0 Zookeeper：3.5.6 Spring-kafka：2.2.12

谢谢。

我正在使用骆驼卡夫卡版本2.14.3。以下是卡夫卡 URI：

请注意，我consumerStream=2在 URI 选项中使用过。但是当我topic-name一次向主题发布多条消息（全部到同一个分区）时，kafka 消费者会按顺序接收这些消息。如何并行接收这些消息？

我正在寻找如下解决方案：

是我用来从 ibm MQ 并发读取的内容

这是我正在尝试的

以及如何表明您已经结束或不再有消息可供使用。如果偏移量与当时经纪人的结束偏移量不匹配怎么办。

有什么建议么。

我正在寻找一种如何在两个 Kafka 主题之间分发消息的方法。在原始主题中，我有20 个分区，每个分区有1000000条消息。我想要一个包含1000 个分区的新主题，并将消息传播到新的更广泛的分区范围。

是否可以在 Kafka 中做到这一点（通过主题镜像或其他技术）？

如果一个生产者有 3 个主题，每个主题有 4 个分区，那么消费者组应该包含 4 个还是 12 个消费者？我要达到理想的消费。

我想像这张图片一样将主题分区分成多个 kafka 服务器。

示例：我只有一个主题“Test”，我有两个 kafka 服务器（k1，k2），我有 4 个主题“Test”分区。我希望服务器 k1 有分区 0 和 1，服务器 k2 有分区 2、3。

我在消费者组 G1 中有一个消费者 C1，它正在从主题 T1 读取（进行轮询），并且在此轮询之间，有加入同一组 G1 中的另一个消费者 C2，但订阅了不同的主题 T2。
我观察到的是，主题 T1 的分区被撤销并重新分配给同一个消费者 C1，这是预期的，因为该主题没有其他消费者。但我的问题是，当其他消费者订阅了不同的主题时，为什么会首先发生撤销？

这些是来自消费者 C1 的日志打印。在同一时刻，有一个消费者 C2 加入并订阅了主题 T2 ：

我开始为企业解决方案学习 Kafka。

在阅读过程中，我想到了一些问题：

1. 主题上的所有分区是否大小相同？

2. 如果在某个主题上发送 Kafka 消息并且该主题过载，会发生什么情况。没有关于该主题的任何新消息的记忆？

我是 kafka 的新手，当我阅读 Kafka 文档时，我意识到使用相同密钥提供的消息将被映射到同一个分区以保证顺序。这完全有道理。但是，我想知道如果我们在运行时增加主题分区的数量，具有相同键的新消息是否会像以前一样散列到同一个分区（旧的）？

如果是这样，如果所有消息都提供了键，那么它们都不会映射到新分区怎么办？这对我来说没有意义。

如果不是，那么Kafka如何保证具有相同键的消息的顺序？