问题标签 [kafka-rest]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
groovy - Kafka消费者——统计从头到尾的偏移量
我能够通过使用消费参数（最早）来获取特定 Kafka 主题的从头到尾的数据形式。响应：偏移量 180，味精 abc.... . 偏移量 12000 ，味精 klp...
我想计算从特定偏移量到最新偏移量的计数，以了解插入了多少新消息。kafka 消费者是否有这样的参数可以使用，或者我需要为此获取 groovy 代码？
场景将是：开始使用 kafka 主题，偏移量可能是 180-12000 post 100 msgs to kafka topic。现在的偏移量是 180-12099，由于某种原因 1 条消息未能发布。我需要一个代码来确保总数为 100，如果 99 则失败。
docker - 在 Windows 中使用 Docker Compose 运行 Kafka 的问题
我正在尝试在 Windows 10 Pro 和 Docker Desktop（不是工具箱）上本地运行 Kafka。一切似乎都运行良好，但我的应用程序无法访问 Kafka，也无法使用 kafka rest ( http://localhost:8082/topics | http://127.0.0.1:8082/topics | http://192.168. 1.103:8082/topics - 最后一个是我在主机中的 docker ip)
我的 docker-compose 文件是：
我的主机文件是：
在日志中，我收到类似“kafka-rest | [2019-10-21 11:40:57,903] INFO 服务器已启动，正在侦听请求...（io.confluent.kafkarest.KafkaRestMain）”之类的消息
我不知道我做错了什么我尝试按照其他帖子上的一些说明进行操作：
apache-kafka - 使用 REST 代理从主题中仅读取一条消息
我通过 Rest Proxy（在 Docker 容器中）使用 Kafka 版本 2.2.0cp2。我需要消费者始终只阅读一条消息。
max.poll.records=1我在文件中设置的值/etc/kafka/consumer.properties如下：
consumer.max.poll.records=1
或者：
max.poll.records=1
它没有效果。
在其他配置中设置此值也没有给出任何结果。
apache-kafka - 将 REST 代理连接到 Confluent Cloud 尝试连接到 Zookeeper
我正在尝试将 kafka 休息代理连接到融合云。
这是我的文件，其属性为 ccloud-kafka-rest.properties
在我运行 kafka-rest-start 之后，它会尝试连接到 zookeeper (zookeeper.connect = localhost:2181)。
错误服务器意外死亡：（io.confluent.kafkarest.KafkaRestMain：63）org.I0Itec.zkclient.exception.ZkTimeoutException：无法连接到zookeeper服务器'localhost：2181'超时30000毫秒
我也尝试将 zookeeper 主机设置为空，但没有帮助。如何关闭与zookeeper的连接？
apache-kafka - 将 JSON 数据从 COBOL 程序发送到 KAFKA 休息服务器
当我尝试从 COBOL 程序发送到 KAFKA 时，JSON 数据中缺少“方括号”
我已经启动了 KAFKA-REST 服务器并尝试在 COBOL 程序中格式化 json 数据并使用“WEB SEND POST”发送数据。
注意：用于网络发送 POST 的媒体类型是：application/vnd.kafka.json.v1+json
我可以看到 COBOL 击中了我的 KAFKa 服务器，但在 KAFKA 服务器端出现以下错误：
尝试从 COBOL 发送的数据：
但方括号在 COBOL 端本身被删除，数据采用以下格式：
请帮忙！！
下面是 COBOL 代码 '''在此处输入图像描述
网络发送 POST 在此处输入图像描述
apache-kafka - 如何冻结主题的新版本 AVRO 模式，以便拒绝不合规的消息？
使用 Java 客户端生产者，可以在发布到主题之前对消息进行微调以符合模式格式。
使用kafka rest代理，如果消息无法使用kafka avro模式版本反序列化，如何拒绝消息？这是为了防止不符合模式的客户端添加垃圾。我看到该版本会自动升级到主题的新模式。如何限制发布到主题的消息？这可能是由于所有错误的生产者客户。
我正在搜索文档，并且我是学习 kafka 的新手。我知道消费者可以通过偏移变得更聪明，但我想清理主题中的垃圾。谢谢。
apache-kafka - 使用 confluent_kafka for python 向主题注册模式 ID
到目前为止，我得到的唯一答案是，您必须为模式和主题赋予相同的名称，然后这应该将它们链接在一起。但是在注册一个名称test_topic如下的模式后：
并运行以下命令，它会毫无问题地插入。
但是当我也运行以下命令时，它会插入而不给出任何错误（注意，我更改了属性名称）
我会怀疑一条错误消息说我的数据与该主题的架构不匹配...
我的模式 ID 是 10，所以我知道它正在工作并已注册，但目前不是很有用。
蟒蛇代码：
apache-kafka - 无法发送嵌入到 Kafka 主题的模式的 json（使用邮递员）：错误代码 422
我想使用 Postman 将 json 发送到 Kafka 主题。
在邮递员中，当发送以下 json 时一切正常（kafka 没有返回错误，并且在使用主题时我可以看到正确的值）：
但是，当发送以下带有 aschema和payload嵌入的 json 时：
我得到以下答案：
以下来源建议嵌入模式，因为 JDBC 接收器需要它： https://github.com/confluentinc/kafka-connect-jdbc/issues/609 https://www.confluent.io/blog/kafka -connect-deep-dive-converters-serialization-explained/
在我的sink-postgresql.properties我设置：
我不知道为什么到目前为止它不起作用，一些帮助可能会有用。
系统：Ubuntu 18.04 confluent-platform postman 7.14
apache-kafka - Kafka Rest Api 不适用于同一组中的两个或多个消费者
有时在连接具有相同组 ID 的第二个消费者后，我收到错误
“未找到消费者实例”（代码：40403）。
我注意到在连接第二个消费者时，我从两个消费者接收新消息的请求Kafka都冻结了。我确信我得到的错误是问题的结果，而不是原因，因为在请求冻结后，消费者超时并自动删除。但是，我不明白为什么请求会挂起。
出现问题时，Kafka's队列为空。
配置设置为：
其他值默认设置。
我认为这是由于消费者线程 ( consumer.threads) 的限制，但文档说默认值为50.
apache-kafka - Kafka消费者可以从所有分区消费吗
我有一个由多个消费者（同一组）使用的多分区主题。我的目标是最大化消费处理，即任何消费者都可以消费来自任何分区的消息。
我知道这看起来不可能，因为只有一个消费者可以从分区中消费。
是否可以使用 REST 代理来实现这一点？例如，轮询所有 Proxy 消费者实例。
谢谢。