问题标签 [kafka-rest]

我是 Kafka 的新手，遇到了一个问题。我们的 Kafka 集群只能通过Kafka REST 代理访问，不能直接访问。有许多API可以从 Java 访问 Kafka，但是否有围绕 Kafka REST 代理 API 的 Java Wrapper？

Java Wrappers 指的是使用 REST 代理 API 的 Java 库，而不是 Kafka 原生协议。

我正在玩 Kafka 主题和 rest-proxy，遇到了我不理解的行为。

我有 1 个 zookeeper、1 个 kafka 代理、1 个模式注册表和 1 个 rest-proxy 实例。然后创建具有 1 个分区和 2 个从中读取的消费者的主题。

我使用以下命令创建了一个主题：

然后我试图从两个消费者那里阅读。在创建第二个消费者并尝试使用它进行读取时，触发了一些重新平衡并且读取只是挂起。Kafka Rest 依次产生大量的日志，如下所示：

你能就问题可能是什么提供任何建议吗？

我正在关注此文档。我能够像这样获得集群的信息：

以前的请求工作正常。但是，当我尝试创建主题时，我收到HTTP 415 Unsupported Media Type javax.ws.rs.NotSupportedException错误

命令：

有人知道如何解决这个问题吗？

我计划开发一个应用程序，可以通过使用 REST 客户端（SpringBoot REST）发出请求，例如获取基于地理代码的各种可用服务的列表。

我将此请求作为消息发布给 Kafka。有一个消费者（Python 代码）侦听此消息，并在消息到达时查找各种存储（NoSQL/HDFS），并获取服务列表。

我已经将这个概念工作到我收到请求、使用它并产生结果的地步。

不确定的地方是 RestController/RestService 如何知道聚合何时完成并准备好结果，以便它可以将响应连同总大小一起发送回浏览器？

请对此有任何想法建议吗？

我是 kafka 的新手，我试图通过使用 /consumers/(string:group_name)/instances/(string:instance)/positions/beginning 的 kafka Rest Proxy 开始

任何人都可以请澄清以下内容：

1）我假设消费者实例 ID 是显示在选定消费者组下的融合 UI（控制中心）上的“消费者 ID”。这是找到消费者实例ID的正确方法吗？

2. 如果 (1) 是正确的，那么我将正确的消费者实例 ID 传递给“/consumers/(string:group_name)/instances/(string:instance)/positions/beginning”，但出现如下错误。{ "error_code": 40403, "message": "找不到消费者实例。" }

谁能帮我解决这个问题。

我正在创建一个向kafka-rest-proxy发送大量数据的服务。我只是向卡夫卡发送数据（生产）。我发现 kafka-rest-proxy 很容易不堪重负并且用完 java 堆空间。我已经分配了额外的资源，甚至横向扩展了运行 kafka-rest-proxy 的主机数量，但我仍然遇到连接断开和内存问题。

我不熟悉 kafka-rest-proxy 的内部结构，但我的直觉是它正在缓冲记录并将它们异步发送到 Kafka。如果是这样，那么它有什么机制来控制背压？有没有办法对其进行配置，以便将记录同步写入 Kafka？

我正在研究消费来自 Kafka 的记录的新要求，为此我已经收到了其余的代理 API。

https://github.com/confluentinc/examples/blob/6.0.1-post/clients/cloud/rest-proxy/consume.sh

调用 GET 记录 API 时似乎已经存在问题，并且必须以 10 秒的暂停时间调用两次才能读取记录。

http://localhost:8082/consumers/cg1/instances/ci1/records

我通过调用 POST 方法偏移量手动提交记录。因此，为了读取记录，我需要执行近 6 次 api 调用。

我不了解 REST API 设计。我只是想知道，为什么客户端必须执行多个调用来读取记录而不是单个 GET 方法。

例如，当客户端调用 GET 记录方法时，服务器可以执行所有（创建消费者、订阅和删除）并返回记录。为什么客户端要调用所有 API 来读取记录？客户端必须处理异常，记录所有 api 调用，并且在客户端消耗更多资源。

我们被要求每 5 分钟进行一次投票。因此，客户端每天将执行近 1728 次（6X12X24）次调用。

如果它只是一个呼叫，那么我们每天将执行 288 个呼叫。

为什么客户端应该进行多次调用，而不是服务器来处理它？它是最好的设计吗？用这种设计可以带来什么好处？

目前，我正在使用 Confluent Rest Proxy 5.5.1 来收集生产中的数据。可能会出现重复的事件。我找到了使用 Kafka Stream API 进行重复数据删除的解决方案。是否有可能在 Rest Proxy 中获得幂等生产者保证？

我们已经在 Kubernetes 集群中部署了 Confluent Platform 6.0。我通过 Kafka REST api 创建了一个 Kafka 主题“test-topic-1”。现在我正在尝试向该主题发布一条简单的 AVRO 消息。

我收到此请求的 500 错误响应，

当我检查 kafka rest pod 的日志时，我可以看到以下错误，

错误请求失败并出现异常（io.confluent.rest.exceptions.DebuggableExceptionMapper）com.fasterxml.jackson.databind.exc.MismatchedInputException：无法反序列化java.lang.String[来源：（org.glassfish.jersey.message.internal .ReaderInterceptorExecutor$UnCloseableInputStream); 行：1，列：17]（通过参考链：io.confluent.kafkarest.entities.v2.SchemaTopicProduceRequest["value_schema"]）在 com.fasterxml.jackson.databind.exc.MismatchedInputException.from(MismatchedInputException.java: 59) 在 com.fasterxml.jackson.databind.DeserializationContext.reportInputMismatch(DeserializationContext.java:1445)

我是否按照正确的步骤将 AVRO 消息发布到新创建的 Kafka 主题？如果是这样，这可能是什么问题？

我是 Kafka 的新手。我已经将我的消费者实现为普通的 Java springboot 应用程序。我需要使用Kafka 休息代理连接到部署在远程代理上的主题。如果我使用 Kafka 休息代理，我无法理解它将如何发挥不同的作用。我应该在哪里更改我的代码以包含休息代理。我是否需要完全不同地构建我的代码，因为我没有考虑休息代理在创作时。我可能对术语有误。任何帮助或指导都会有很大帮助。