apache-kafka - 如何在 Kafka REST API 中指示消费者偏移量

Question

我正在使用 Kafka 0.10 REST API。我只是使用 Java 中的 HTTP 对象来调用 Kafka REST API（例如 curl 命令）。我消费消息时需要指明消费者偏移量，否则从头或最新开始读取，但找不到指明偏移量的参数。

是否有完整的 REST 代理文档来描述每个参数。

Answer 1

假设您指的是 Confluent Kafka REST 代理，因为 Apache Kafka 没有用于消费消息的 REST API。

完整的文档在 Confluent 网站上

https://docs.confluent.io/current/kafka-rest/docs/api.html

0.10 版是 Apache Kafka 的版本，但不是 Confluent REST 代理的版本。包含 Apache Kafka 0.10.0 的 Confluent 版本是 Confluent 3.0.0。自几年前发布此版本以来，REST 代理有许多增强功能，因此建议您升级到 4.0 或 4.1 并使用 v2 REST API。

在较新的版本中，您可以发布如下偏移列表：

POST /consumers/testgroup/instances/my_consumer/offsets HTTP/1.1
Host: proxy-instance.kafkaproxy.example.com
Content-Type: application/vnd.kafka.v2+json

{
  "offsets": [
    {
      "topic": "test",
      "partition": 0,
      "offset": 20
    },
    {
      "topic": "test",
      "partition": 1,
      "offset": 30
    }
  ]
}

Answer 2

来自 https://docs.confluent.io/current/kafka-rest/docs/api.html

GET /topics/(string: topic_name)/partitions/(int: partition_id)/messages?offset=(int)[&count=(int)]