logging - 理解 kafka log.dirs

Question

我有 Kafka 集群，并且 log.dirs=/data/kafka设置为 server.properties 中的数据目录。由于这些日志占了很大一部分，我的 DATA 分区不断变满。（谈论主题目录中的二进制日志，例如000000000000000.log）我在文档中阅读了有关此参数 的信息（log.dirs保存日志数据的目录。如果不设置，则使用log.dir中的值）

而且我还没有完全理解含义此外，它们可以删除，应该配置哪个保留？是否建议将其与数据目录分开？谢谢

Answer 1

Kafka 主题是一个或多个 Kafka 分区的逻辑分组。每个 kafka 分区本质上是磁盘上的（日志）文件。所以你发布的 kafka 数据只存储在这些文件（日志）中。

log.dirs告诉 kafka 在哪​​里创建这些文件。因此，每当您有一个新分区（通过增加现有主题的分区或完全创建一个新主题）时，您都会在log.dirs中看到新文件。

您不应手动删除此文件夹中的数据。使用log.retention.hours配置 Kafka 保存数据的时间。