问题标签 [kafka-rest]

我们有一些应用程序希望使用 REST API 调用与 Kafka 进行通信以消费和产生消息。如果我们不想使用 Confluent REST 代理，有哪些选择？

我有一个微服务架构，其中每个服务的生产者都写入同一个主题。我有两个 kafkaRestproxy 实例，每个实例都收听该主题，但这里的问题是：假设一个请求到达 restproxy 的实例 1，它将重定向到微服务，并且该服务完成了工作并写入对主题的响应但是响应由restproxy的第二个实例消耗，比如说instance-2。

我应该怎么做才能解决这个问题？它们是我们可以附加到请求的任何类型的 application_id 吗，所以当该微服务完成工作并且如果另一个 restproxy 实例消耗了该响应，那么我们可以将响应重定向到那个获取该请求的 restproxy 实例？

我从卡夫卡开始。

我看到我能够在生成消息时传递标头。

传统上，人们会有一个 Web 客户端（单页应用程序），用户可以在其中通过一些远程 oidc idp 登录并接收令牌。然后，该令牌通过Authentication: Bearer token-here标头发送到某个 RESTful 后端，在该后端检查令牌的有效性并处理有效负载，保存到数据库或其他，并返回或不返回某些内容。

现在有 Apache Kafka。它有一个 REST 代理。我可以将标头传递给 REST 代理并生成消息或使用它们，但我对“保护我的 RESTful JSON API”部分感兴趣。

目前，在没有 Kafka 的情况下，我有一个 oidc 代理（使用 keycloak，即 keycloak-gatekeeper）来过滤哪个请求进入后端，或者我有一个 oidc 客户端，它作为后端内部的一些中间件功能进行令牌验证. 我认为，无论如何，无效请求都不会像在 Kafka 中那样被“记录”。

oidc 令牌验证和请求过滤在 Kafka/Confluent 生态系统中的什么位置？

假设我们有一个与 Confluent REST 代理通信的 SPA。一些登录用户想要发布消息，而一些未登录用户不应该能够。

Kafka 和/或其工具如何处理这种情况？

我正在尝试从其余服务器构建自己的指标收集器，我需要通过 JMX 访问各种指标，以收集数据、抓取和公开 jmx 服务器的 mBean。像 Prometheus JMX 导出器。

我正在使用 Kafka 休息代理，但不是整个 Confluent 平台，只是 Kafka 与我的 Kafka 经纪人休息。但我无法通过以下命令从命令行创建主题。

我想知道有没有其他的出路。

我使用 Confluent Kafka REST 代理向 Apache Kafka 发送消息。我在 REST 代理上设置了基本身份验证，每当我向代理提交 HTTP 请求时，我都会收到 403 HTTP 错误！角色。

代理需要运行 Zookeeper、Kafka 和 Schema Registry。我没有在这些服务上配置任何安全性。

在没有身份验证的情况下，代理可以正常工作并将消息成功传递到 Kafka。如何解决此问题？我在这个问题上花了几个小时，但我仍然无法解决它。

我已经使用 curl 调用在 kafka-rest 上执行了 HTTP POST。一个请求成功，但另一个请求（具有不同的 json）返回 422 错误 ({"error_code":422,"message":"Unrecognized field: receiver"})。

工作要求

输出

不工作请求

输出

警报请求.json

我需要使用 kafka-rest 将上面的 json 写入 kafka，并且我使用 curl 调用在 kafka-rest 上执行 HTTP 发布，但它返回错误。如何使用 kafka-rest（使用 curl）成功写入 kafka？

我想要做的是使用 Kafka REST 代理进行手动提交。我正在尝试使用此代码：

然后返回： {"error_code":40403,"message":"Consumer instance not found."}

我究竟做错了什么？

我正在尝试在 AWS 上配置 Elastic Load Balancer 以与 Confluent Kafka Rest Proxy 服务器一起使用。Kafka 集群是启用了 ACL 的 SASL_SSL（SASL 是 Kerberos）。在配置 ELB 侦听器的目标时，我收到“不健康”错误（错误代码 502）。我在 Broker（授权人日志）或 Rest 代理日志上看不到任何错误代码。如果我在纯文本的集群上使用 ELB 的目标休息代理，它就可以工作。错误的原因是什么？

zookeeper 和 Kafka 都沟通良好并且正常运行。

不知道为什么模式注册表和卡夫卡休息不能起来。

下面是 docker-compose 文件。

这是架构和休息 docker-compose 文件。此泊坞窗上的错误

码头工人组成：

这是 zk 和 kafka docker compose