apache-kafka - Apache Kafka：减少 ​​kafka 磁盘使用量

Question

我有一个关于 Kafka 磁盘的问题。当磁盘满时，Kafka 将失败。所以我想在 Kafka 磁盘使用率达到 x% 时，通过丢弃存储在 Kafka 磁盘上的旧数据（或丢弃数据的副本），将磁盘使用率降低到 x% 以下。我需要修改 Kafka 源代码来执行此操作吗？

Answer 1

您可以retention.bytes为您的主题进行配置。

如果我们使用“删除”保留策略，此配置控制分区（由日志段组成）在我们丢弃旧日志段以释放空间之前可以增长到的最大大小。默认情况下没有大小限制，只有时间限制。由于此限制是在分区级别强制执行的，因此将其乘以分区数以计算主题保留（以字节为单位）。

见https://kafka.apache.org/documentation/#topicconfigs