76

使用 Kafka 0.8.1.1，如何在运行时更改日志保留时间？文档说该属性是log.retention.hours，但尝试更改它使用kafka-topics.sh返回此错误

$ bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config topic.log.retention.hours=24
Error while executing topic command requirement failed: Unknown configuration "topic.log.retention.hours".
java.lang.IllegalArgumentException: requirement failed: Unknown configuration "topic.log.retention.hours".
    at scala.Predef$.require(Predef.scala:145)
    at kafka.log.LogConfig$$anonfun$validateNames$1.apply(LogConfig.scala:138)
    at kafka.log.LogConfig$$anonfun$validateNames$1.apply(LogConfig.scala:137)
    at scala.collection.Iterator$class.foreach(Iterator.scala:631)
    at scala.collection.JavaConversions$JEnumerationWrapper.foreach(JavaConversions.scala:479)
    at kafka.log.LogConfig$.validateNames(LogConfig.scala:137)
    at kafka.log.LogConfig$.validate(LogConfig.scala:145)
    at kafka.admin.TopicCommand$.parseTopicConfigsToBeAdded(TopicCommand.scala:171)
    at kafka.admin.TopicCommand$$anonfun$alterTopic$1.apply(TopicCommand.scala:95)
    at kafka.admin.TopicCommand$$anonfun$alterTopic$1.apply(TopicCommand.scala:93)
    at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:57)
    at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:43)
    at kafka.admin.TopicCommand$.alterTopic(TopicCommand.scala:93)
    at kafka.admin.TopicCommand$.main(TopicCommand.scala:52)
    at kafka.admin.TopicCommand.main(TopicCommand.scala)
4

4 回答 4

143

log.retention.hours是代理的属性，在创建主题时用作默认值。当您使用 更改当前正在运行的主题的配置时kafka-topics.sh，您应该指定一个主题级别的属性。

日志保留时间的主题级属性是retention.ms。

从Kafka 0.8.1 文档中的主题级别配置：

  • 属性：retention.ms
  • 默认：7 天
  • 服务器默认属性：log.retention.minutes
  • 描述：如果我们使用“删除”保留策略，此配置控制我们在丢弃旧日志段以释放空间之前保留日志的最长时间。这代表了消费者必须在多长时间内读取其数据的 SLA。

所以正确的命令取决于版本。高达0.8.2（尽管文档仍然显示其使用高达 0.10.1）使用kafka-topics.sh --alter和0.10.2之后（或者可能从 0.9.0开始）使用kafka-configs.sh --alter

$ bin/kafka-topics.sh --zookeeper zk.yoursite.com --alter --topic as-access --config retention.ms=86400000

您可以使用以下命令检查配置是否正确应用。

$ bin/kafka-topics.sh --describe --zookeeper zk.yoursite.com --topic as-access

然后你会看到类似下面的东西。

Topic:as-access  PartitionCount:3  ReplicationFactor:3  Configs:retention.ms=86400000
于 2015-03-19T04:06:21.503 回答
62

以下是从 Kafka 0.10.2.0 开始更改主题配置的正确方法：

bin/kafka-configs.sh --zookeeper <zk_host> --alter --entity-type topics --entity-name test_topic --add-config retention.ms=86400000

已弃用主题配置更改操作bin/kafka-topics.sh。

WARNING: Altering topic configuration from this script has been deprecated and may be removed in future releases.
     Going forward, please use kafka-configs.sh for this functionality`
于 2017-06-21T18:32:41.970 回答
8

正确的配置键是retention.ms

$ bin/kafka-topics.sh --zookeeper zk.prod.yoursite.com --alter --topic as-access --config retention.ms=86400000
Updated config for topic "my-topic".
于 2015-03-18T17:50:19.027 回答
3

kafka confluent V4.0.0我在和 中测试并使用了这个命令apache kafka V 1.0.0 and 1.0.1

/opt/kafka/confluent-4.0.0/bin/kafka-configs --zookeeper XX.XX.XX.XX:2181 --entity-type topics --entity-name test --alter --add-config  retention.ms=55000

test是主题名称。

我认为它也适用于其他版本

于 2018-05-22T17:01:17.610 回答