问题标签 [kafka-rest]

我在自己的 Kafka（confluent）设置中遇到了一些问题。

请找到以下问题

CORS 问题：- 对预检请求的响应未通过访问控制检查：请求的资源上不存在“Access-Control-Allow-Origin”标头。

我用谷歌搜索，发现下面的设置应该在这个文件/home/kafka/confluent-5.0.0/etc/kafka-rest/kafka-rest.properties中更改。

但默认情况下，下面的代码是存在的。CORS 仍然无法正常工作。作为响应，标题“Access-Control-Allow-Origin”没有出现

提前感谢您的帮助。

I am using confluent Kafka-rest product to consume records from a topic. My intention is to consume only first 100 records from topic. I am using the following REST API to fetch records

How to achieve this? Any idea?

我正在尝试将移动应用程序数据推送到 kafka 代理中。我读过很多帖子和博客，知道有 Rest Proxy 可以将 HTTP 上的数据推送到 Kafak 代理。我按照https://docs.confluent.io/current/kafka-rest/docs/quickstart.html#了解了 Rest Proxy 的风格。练习没关系，但我想得到一些真实世界的例子。已关注将数据从 android/iOS 应用程序发送到 Kafka 或 Hadoop。我只是想知道移动 => Rest Proxy => Kafka 代理。

如何配置它请分享需要采取的步骤。

我想使用 kafka-rest 代理 api 发送 kafka 消息的消息头。https://docs.confluent.io/current/kafka-rest/docs/api.html

我怎样才能做到这一点？

我一直在使用 spotify 提供的 kafka 镜像在本地运行 kafka。我目前正在尝试将它与cp-kafka-rest图像schema-registry一起使用。

我需要帮助解决这个问题：

错误（日志组kafka_rest_1_609fd108dcf4：）

[main-SendThread(zookeeper:2181)] WARN org.apache.zookeeper.ClientCnxn - 服务器 zookeeper:2181 的会话 0x0，意外错误，关闭套接字连接并尝试重新连接

码头工人撰写

卡夫卡话题（test3）

消费者（kafka-rest API on localhost:8082）

1. 创建消费者POST请求http://localhost:8082/consumers/rested

请求正文：

回复正文：

2. POST创建订阅http://localhost:8082/consumers/rested/instances/rest-consumer-dfa6ee0e-4f24-46dc-b0dc-dda3b80866ff/subscription

使用标题：

和请求正文：

返回 的响应204 No Content。

3. 通过GET请求读取记录http://localhost:8082/consumers/rested/instances/rest-consumer-dfa6ee0e-4f24-46dc-b0dc-dda3b80866ff/records

使用标题：

返回响应：

我们如何解决这个问题并确保我们收到数据？

例外（在卡夫卡上）

正在运行的 Kafka Rest Proxy 服务器日志有以下异常：

消费者组 CLI

我可以在 CLI 上查看消费者组，但它没有活动成员：

结果：

但是，当我尝试检索members：

我在 Kubernetes 中设置了 3 个 Rest-Proxy(Kafka-rest) 实例。

https://docs.confluent.io/current/kafka-rest/docs/index.html

https://github.com/confluentinc/kafka-rest

我在部署之上添加了一个 NetScaler Ingress。

我在 Citrix NetScaler 文档中看到 NetScaler 为会话粘性提供了持久性配置。

NetScaler 持久性的 Citrix Docs

在 Kafka-Rest 文档中提到：

REST 代理集群和负载平衡 - REST 代理旨在支持多个实例一起运行以分散负载，并且只要实例配置正确，就可以安全地运行在各种负载平衡机制（例如循环 DNS、发现服务、负载平衡器）之后.

和

尽管代理没有任何持久状态，但它是有状态的，因为消费者实例与特定的代理实例相关联。

但是，我已经尝试了配置中所有可能的组合。但是我在 Rest-Proxy 中的一些数据消费请求仍然失败。

我收到 HTTP 404 错误。

有人可以指导我，Rest-Proxy 需要什么样的会话粘性以及如何在 kubernetes 的 NetScaler 中实现它。

更新：

我还找到了这个文本，它指出我们应该使用创建消费者休息调用返回的“base_uri” 。现在我的问题是，我们是否应该在剩余的调用中明确使用它来消耗数据而不是负载均衡器 URL，或者是否应该在负载均衡器中配置粘性以考虑返回的 URL 并相应地发送以下请求（如果这是甚至可能）

如果您运行多个代理实例，您应该提供一些负载平衡机制。最简单的方法使用循环 DNS 或发现服务在启动时为每个应用程序进程选择一个实例，将所有流量发送到该实例。您也可以使用 HTTP 负载均衡器，但各个实例仍必须是可寻址的，以支持返回的绝对 URL，以便在消费者读取和偏移提交操作中使用。

总的来说，我对 Kafka 和流数据非常陌生。我想做的是摄取要通过http发送到kafka的数据。我的研究将我带到了融合的 REST 代理，但我无法让它工作。

我目前拥有的是在 docker 容器中使用 kafkamanager 的单个节点和单个代理运行的 kafka。

不幸的是，我无法使用 docker 运行完整的融合平台，因为我的机器上没有足够的可用内存。

本质上，我的问题是：如何设置一个开发环境，让 kafka 通过 http 摄取数据？

非常感谢任何帮助！

我是 kafka 社区的新手，我面临一个具有挑战性的问题。我有两个应用程序通过 Rest webservice 相互通信，正文是 json 消息。

如何使用 kafka 作为这两个应用程序之间的中间件，对应用程序的影响很小或为零？

这是我的原样场景：

我的未来场景：

我曾想过使用 STM 或一些拦截器来转换标题和正文。

有可能这样做吗？我知道我必须改变身体：

至：

本质上，我的转换会改变消息的开头和结尾，而不是每条记录的字段。

任何人都做过类似的事情，或者有迹象表明我应该走哪条路？

对于我的学士论文，我正在尝试使用与 kafka 的 http 连接来发送机器数据（在本例中是使用 python 脚本发送的历史数据）。我正在使用在 Windows 系统上的 docker 中运行的融合平台。

使用 python 脚本，我尝试将数据发送到 REST 代理。起初，我收到了有关我能够解决的数据类型的错误响应。

该脚本发送数据，但作为响应，我得到状态代码 500。