apache-kafka - 为灾难恢复服务器设置 Kafka 镜像时消息丢失

Question

生产者.config

key.serializer=org.apache.kafka.common.serialization.StringSerializer
value.serializer=org.apache.kafka.common.serialization.StringSerializer
max.in.flight.requests.per.connection=1
retries=3
acks=-1

步骤：

1. 在 server1 上启动 Kafka 镜像并推送 100 条消息
2. 验证 server2 上的消息。
3. 关闭server1上的kafka镜像并推送100条消息
4. 几分钟后，在 server1 上启动 kafka 镜像。
5. 很多消息没有被复制到 server2

如果有人可以帮助我了解配置详细信息，我将不胜感激

Answer 1

您需要确保重新启动后consumer.config使用的是相同的group.id，并且auto.offset.reset=earliest如果您想在重新启动后获取所有消息

旁注：MirrorMaker (1.0) 并非用于灾难恢复，只是盲目复制主题。MirrorMaker 2 为多个集群之间的容错提供了更多选项。