11

我对卡夫卡相当陌生,所以如果这个问题是微不足道的,请原谅我。我有一个非常简单的设置用于定时测试,如下所示:

机器 A -> 写入主题 1(代理)-> 机器 B 从主题 1 读取机器 B -> 将刚刚读取的消息写入主题 2(代理)-> 机器 A 从主题 2 读取

现在我正在无限循环中发送大约 1400 字节的消息,很快就填满了我的小型代理上的空间。我正在尝试为 log.retention.ms、log.retention.bytes、log.segment.bytes 和 log.segment.delete.delay.ms 设置不同的值。首先,我将所有值设置为允许的最小值,但这似乎降低了性能,然后我将它们设置为我的代理在完全填满之前可以采用的最大值,但是当删除发生时性能再次下降。是否有设置这些值以获得绝对最小延迟的最佳实践?

谢谢您的帮助!

4

1 回答 1

17

Apache Kafka 使用 Log 数据结构来管理其消息。日志数据结构基本上是一组有序的 Segment,而 Segment 是消息的集合。Apache Kafka 在 Segment 级别而不是 Message 级别提供保留。因此,Kafka 不断从其末端删除 Segment,因为这些违反了保留策略。

Apache Kafka 为我们提供了以下保留策略 -

  1. 基于时间的保留

在这个策略下,我们配置了一个 Segment(因此是消息)可以存活的最长时间。一旦一个 Segment 跨越了配置的保留时间,它就会被标记为删除或压缩,具体取决于配置的清理策略。细分的默认保留时间为 7 天。

以下是您可以在 Kafka 代理属性文件中设置的参数(按优先级降序排列):

以毫秒为单位配置保留时间

log.retention.ms=1680000

如果未设置 log.retention.ms 则使用

log.retention.minutes=1680

如果未设置 log.retention.minutes 则使用

log.retention.hours=168

  1. 基于大小的保留

在此策略中,我们为 Topic 分区配置了 Log 数据结构的最大大小。一旦 Log 大小达到此大小,它就会开始从其末尾删除 Segments。此策略不受欢迎,因为它不能提供有关消息过期的良好可见性。但是,在由于磁盘空间有限而需要控制日志大小的情况下,它可以派上用场。

以下是您可以在 Kafka 代理属性文件中设置的参数:

配置日志的最大大小

log.retention.bytes=104857600

因此,根据您的用例,您应该配置log.retention.bytes以便您的磁盘不会被填满。

于 2017-02-19T14:39:38.967 回答