问题标签 [kafka-rest]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
2 回答
328 浏览

rest - 围绕 Kafka 的 REST Wrapper - 反模式?

不仅仅是一个问题,这是我面临的架构困境。在 Kafka Producer 周围使用 REST 包装器并与之集成,而不是在我的代码中直接与 Kafka Producer 集成,这是一个好主意吗?我可以为我的高级类使用通用接口,而不是直接使用 KafkaImpl 来保持松散耦合以备将来使用。

0 投票
1 回答
433 浏览

apache-kafka - 即使REST程序具有INT,Kafka也会将消息密钥生成为STRING?

我正在使用以下程序在 kafka 中生成记录:

键的格式说明符为%d,但生成的记录具有 STRING 类型的键。

这可以通过以下方式明显看出:

尝试制作表格时:

在此处输入图像描述

正如@Andrew Coates指出的那样,KEY 被序列化为 STRING

我不知道这怎么可能。

有人可以为我澄清一下,我做错了什么?

PS:

=> 这是我之前的问题ksqlDB 没有正确使用 rowkey的后续问题

=> 融合平台版本:5.5

=> 这是程序的主类。

0 投票
1 回答
409 浏览

apache-kafka - 如何使用 curl 在融合 kafka 中创建带有分区的主题

我有一个这样的curl命令我正在尝试做一个curl以在confluent kafka上创建一个主题我在理解这个curl语句时遇到问题,在官方文档中curl命令如下所示

https://docs.confluent.io/2.0.0/kafka-rest/docs/intro.html#inspect-topic-metadata 我是否必须考虑 {"name":"test","num_partitions":3} 作为数据还是 curl 命令的一部分..?

0 投票
0 回答
638 浏览

apache-kafka - Confluent REST 代理 - HostProvider 不能为空

我正在使用 Confluent Platform v5.5.0

在遵循 Confluent 快速入门步骤后,我运行了 Zookeeper、Kafka、注册表模式和 REST 代理: https ://docs.confluent.io/current/kafka-rest/quickstart.html

我没有对任何配置进行任何更改,只下载了 Confluent 5.5.0 并在单独的终端窗口中启动了 4 个进程中的每一个。

但是,当我尝试通过发布示例来创建消费者时,错误在 REST 代理终端窗口中显示了几次:

我能够向这些端点发送 GET 请求

http://192.168.1.164:8082/topics/jsontest
http://192.168.1.164:8081/config

并分别接收主题列表和配置。所以我认为 REST 代理大部分都在工作,但我在属性文件中遗漏了一些东西。

我在 /etc/kafka-rest/kafka-rest.properties 中找到了这一行

但取消注释它只会给出错误:

有什么事情是我错过或做错的事情吗?谢谢你的任何想法!

0 投票
1 回答
795 浏览

spring-boot - 使用 Schema Registary 和 Kafka Restproxy 向 Kafka 发送消息的 Rest 模板

我正在尝试创建一个简单的 Resttemplate,它将从 Schema Registary 获取模式,如果响应为 200,它将获取模式 ID 并将其与 Avro 格式的消息一起发送到 kafka。这是我的代码:。

我能够成功地获取模式表单注册表,但是在发送回 kafka 时出现错误。

0 投票
1 回答
615 浏览

spring-boot - 如何将 curl 命令转换为 Resttemplate

我想将发布消息的 curl 命令转换为 Kafka Rest Proxy。卷曲命令是

我想通过 Spring 中的 Restemplate 发送此请求。如何将 curl 命令转换为 restemplate。我已经写了一些代码,但我遇到了问题。

向卡夫卡发送消息

我收到的错误消息

0 投票
0 回答
33 浏览

apache-kafka - 将 API 休息到 Kafka 源主题

我必须使用Apache Kafka从Rest Api获取数据并转储到Sql Server中。我怎样才能做到这一点?

0 投票
1 回答
280 浏览

python - 我可以通过 API 在 Kafka 中创建主题吗?使用任何 python 库

我正在尝试通过 API 在 Kafka 中查找有关主题创建的信息,因为我需要自动化一些任务,如果有人知道这是否可能,那就太好了,我在这里阅读:

https://docs.confluent.io/current/kafka-rest/api.html#crest-api-v3

但这对我不起作用。如果我尝试做

0 投票
1 回答
382 浏览

apache-kafka - 使用文档中提供的 Kafka 休息配置选项 consumer.instance.timeout.ms 的问题

尝试融合文档中提供的某些参数时,Kafka 休息代理失败。
当尝试使用consumer.instance.timeout.ms文档中提供的参数时 [https://docs.confluent.io/current/kafka-rest/config.html] 失败。

要求

回复

但是,具有最少配置选项的请求会成功:

我在 docker 上运行最新版本的融合平台 5.5.1,只有 zookeeper、kafka、schema-registry 和 rest-proxy 服务。
这不是使用配置选项的正确方法,还是有其他方法可以使用这些配置选项?

0 投票
1 回答
690 浏览

apache-kafka - 带有身份验证标头的 Kafka REST API 源连接器

我需要为带有标头身份验证的 REST API 创建 kafka 源连接器,例如 curl -H "Authorization: Basic " -H "clientID: " "https:< url for source> " 。我正在使用 apache kafka,我使用了连接器类 com.github.castorm.kafka.connect.http.HttpSourceConnector 这是我的连接器 json 文件

我也尝试使用“connector.class”:“com.tm.kafka.connect.rest.RestSourceConnector”,我的 joson 文件如下

但没有希望。知道如何通过身份验证获取 REST API 数据。我的身份验证参数是 Authorization: Basic 和 Authorization: Basic 。

仅提及这两个文件都在没有身份验证的情况下使用 REST API,一旦我添加了身份验证参数,则枯萎连接器状态失败或它产生“:”无法路由。代码库/公司无效"" 主题中的消息。任何人都可以建议什么方法来解决它