apache-kafka - 分布式 Kafka Connect 主题配置

Question

我遇到的问题是我的 Kafka Connect 工作程序配置在节点重新启动后丢失。( http://broker:port/connectors/ -> 空数组)

现在我认为它可能与“retention.ms”配置有关。因为connect config也存储在“config.storage.topic”中，在“retention.ms”后会被删除？所以我必须设置一个非常高的“retention.ms”。这是正确的还是由 Kafka 自动管理的？（如果您自己创建主题）

其他两个主题怎么样： status.storage.topic - 只有当前状态信息，不是那么重要？offset.storage.topic

Answer 1

是的，这可能是。

“config.storage.topic”、“status.storage.topic”和“offset.storage.topic”都应该配置“cleanup.policy=compact”（默认为“delete”）。使用此策略，保留时间将不起作用 - 我们将始终为每个连接器保留最新配置。