问题标签 [confluent-rest-proxy]

我正在尝试在 AWS 上配置 Elastic Load Balancer 以与 Confluent Kafka Rest Proxy 服务器一起使用。Kafka 集群是启用了 ACL 的 SASL_SSL（SASL 是 Kerberos）。在配置 ELB 侦听器的目标时，我收到“不健康”错误（错误代码 502）。我在 Broker（授权人日志）或 Rest 代理日志上看不到任何错误代码。如果我在纯文本的集群上使用 ELB 的目标休息代理，它就可以工作。错误的原因是什么？

我正在使用 Confluent Platform v5.5.0

在遵循 Confluent 快速入门步骤后，我运行了 Zookeeper、Kafka、注册表模式和 REST 代理： https ://docs.confluent.io/current/kafka-rest/quickstart.html

我没有对任何配置进行任何更改，只下载了 Confluent 5.5.0 并在单独的终端窗口中启动了 4 个进程中的每一个。

但是，当我尝试通过发布示例来创建消费者时，错误在 REST 代理终端窗口中显示了几次：

我能够向这些端点发送 GET 请求

http://192.168.1.164:8082/topics/jsontest
http://192.168.1.164:8081/config

并分别接收主题列表和配置。所以我认为 REST 代理大部分都在工作，但我在属性文件中遗漏了一些东西。

我在 /etc/kafka-rest/kafka-rest.properties 中找到了这一行

但取消注释它只会给出错误：

有什么事情是我错过或做错的事情吗？谢谢你的任何想法！

汇合的休息代理文件建议发布数据必须是这样的：

也就是说，每个帖子数据都必须包装在以下模式中：

我想知道是否可以更改此架构？例如，我可能想要更改记录以记录并将我的数据包含在数组中作为日志的值，如下所示：

我该怎么办？

我想通过 Kafka Rest Proxy 生成一个 kafka 主题。我在模式注册表中创建了一个 JSON 模式，我希望所有消息都根据注册的模式进行验证，如果它们与模式不匹配，则会被拒绝。

我的架构

此架构已正确注册并分配了版本 1。然后我尝试为两者生成一条数据类型错误的消息foo，bar但该消息被接受。

请注意，我正在生成test具有关联模式的主题，但无论如何都会接受错误消息。我还尝试添加"value_schema_id": 1以确保在有效负载中引用了架构，但仍然接受错误消息。

但是，如果我传递 JSON 模式，因为value_schema它按预期工作

回复

问题：是否可以在生成消息时引用现有的模式 id 而不必每次都传递整个 JSON 模式？

我必须使用Apache Kafka从Rest Api获取数据并转储到Sql Server中。我怎样才能做到这一点？

我们使用的是融合平台 5.3.1 社区版。

最近，作为安全扫描的一部分，我们发现 Kafka 休息代理和模式注册服务缺少 http 标头（X-XSS-Protection，X-Content-Type-Options）安全漏洞。

根据 confluent 文档，我们可以在配置中添加 response.http.headers.config 属性来添加/设置所需的标头。

https://docs.confluent.io/platform/current/kafka-rest/production-deployment/rest-proxy/config.html https://docs.confluent.io/platform/current/schema-registry/installation/config .html

我们已经在相应的配置文件中添加了配置并重新启动了服务。

配置中添加的行

休息代理

response.http.headers.config=添加 X-XSS-Protection: 1; mode=block, 添加 X-Content-Type-Options: nosniff

模式注册表

response.http.headers.config="add Cache-Control: no-cache, no-store, must-revalidate", 添加 X-XSS-Protection: 1; 模式=阻止，添加严格传输安全：max-age=31536000；includeSubDomains，添加 X-Content-Type-Options: nosniff

重新启动服务后，我们希望在响应中收到额外的 http 响应标头，但我们仍然没有收到这些标头。

请求：获取：http://xxxx:8082/

响应标头

有什么建议可以在响应中获取那些缺少的标头。？提前致谢

目前，我正在使用 Confluent Rest Proxy 5.5.1 来收集生产中的数据。可能会出现重复的事件。我找到了使用 Kafka Stream API 进行重复数据删除的解决方案。是否有可能在 Rest Proxy 中获得幂等生产者保证？

使用 kafka rest proxy 对性能有什么影响。

它是否会以任何方式影响其他卡夫卡生产者/客户的表现？

使用 kafka rest 代理的缺点/缺点是什么。

我正在尝试在 Kafka 休息代理上应用 mTLS 安全性，但没有运气。我正在寻找的模型如下。

浏览器--https://host:443/--> Kafka Rest代理--kerberos--> Kafka Brokers

卡夫卡经纪人的休息代理工作正常，但休息代理的客户端仅适用于 http://host:port/

我的 Kafka-rest.properties 如下。

有人可以指出我在这里缺少什么吗？

是否可以修改/自定义响应内容？假设我们已经设置了 kafka rest 代理来接收来自外部服务的数据，并且我们不想泄露敏感信息，比如存储在哪个分区和偏移数据中。我们只想回复说记录已处理/已接收（或未处理）。

当前成功响应（200）

可以将上述响应定制或截获为以下响应吗？