问题标签 [kafka-rest]

我有一个非常小的 javascript 应用程序，我想从 javascript 应用程序中使用我的 Kafka 代理（只有一个 pushJasonBatch 函数）。我宁愿不尽可能多地安装其他工具。

我不使用汇合。那么：如何以最少的仪式从浏览器上运行的 Javascript 生成 JSON 到 Kafka 代理？

我有一个现有的 Kafka 集群。我想安装 Kafka REST 代理：

https://github.com/confluentinc/kafka-rest

如果我安装融合，卡夫卡会附带吗？我担心如果我仍然在我的 Kafka 主节点汇合上它会覆盖我的所有设置并弄乱我的 Kafka 集群。

当您拥有现有的 Kafka 集群时，如何安装 Kafka REST？这在他们的网站上没有明确说明。我有 CentOS 并打算尝试：

任何帮助都会很棒....

我正在使用 Kafka 0.10 REST API。我只是使用 Java 中的 HTTP 对象来调用 Kafka REST API（例如 curl 命令）。我消费消息时需要指明消费者偏移量，否则从头或最新开始读取，但找不到指明偏移量的参数。

是否有完整的 REST 代理文档来描述每个参数。

我正在尝试为 Kafka Rest 运行第二个实例。这是第一个的属性文件：

根据Confluent 的文档：

多个实例的唯一要求是您为每个实例设置一个唯一的 ID。

但是，当我使用 other 运行第二个实例时id，会抛出一个异常，指出该地址已在使用中：

我不知道 Kafka REST Proxy API 的优点。这是一个 REST API，所以我知道它对管理很方便。为什么人们使用 Kafka REST 代理 API？在生产者或消费者上添加 Maven 依赖项是否繁重？

另外，我知道 kafka 客户端具有更好的性能。

我很好奇 Confluent 的 Kafka REST Proxy 和使用 kafka 官方客户端库实现的生产者/消费者的优缺点。我知道 Confluent 的 Kafka REST Proxy 用于管理任务和 kafka 客户端不支持的语言。

那么，kafka客户端有哪些优势呢？

如何在 Kafka REST Proxy 中设置生产者和消费者？如果我使用 kafka-clients.jar 并在 java 中实现它，我可以轻松进行所有设置。acks、提交方法等。我知道基础可以在confluent-4.1.1/etc/kafka-rest中设置。

acks，如何提交等。我该如何配置呢？

参考资料：https ://docs.confluent.io/current/kafka-rest/docs/config.html

知道我的 kafka_cluster 工作正常并且我正在使用 docker-compose 我放入容器中：registery 模式

尝试使用此命令通过 Confluent 平台使用 rest 代理向 kafka 主题发布消息，并以如下所述的错误响应

要求：

回复：

来自 ./kafka-rest/logs/kafka-rest.log 的错误日志

我在消费者注册时观察到消费者实例未找到错误，即使消费者实例没有超时。使用 Confluent API。

以下是此负面测试所遵循的步骤：

运行用于消费者注册的脚本。

Kafka 拓扑：3 个 ZK 实例（其中 2 个 ZK 是虚拟值）和 1 个节点集群（rest-proxy 和代理节点的单个实例）。

当脚本正在进行消费者注册时，已取消脚本并重新运行它。已经看到，对于最后注册的消费者，返回的是Instance not found错误。但是，在一些毫秒之后的日志中，为该消费者注册请求列出了 200 OK [在共享以下日志中的消费者名称：CGStress_TEST111111111111111_6]。

[2018-08-28 09:05:48,411] 信息http://localhost:8082/v1/consumer/CGStress_TEST111111111111111_5服务：TransacationId:5 EntityId:ed_1 Authorized:true Allowed:true (io.confluent.kafkarest.resources.SecurityRestrictions) {"X-Nssvc-serviceid":null,"Type":"API","X-Nssvc-customerid ":null,"Client-IP":"127.0.0.1","Severity":"INFO","X-Cws-Transactionid":"5","message":{"request":{"content-length ":81,"method":"POST","time":"2018-08-28 09:05:48.409","uri":"mr/v1/consumer/CGStress_TEST111111111111111_5","entity-id":" ed_1","user-agent":"python-requests/2.11.1"},"response":{"status_code":200,"time":"2018-08-28 09:05:48.412"}}} [2018-08-28 09:05:48,412] 信息 127.0.0。1 - - [28/Aug/2018:09:05:48 +0000]“POST /mr/v1/consumer/CGStress_TEST111111111111111_4 HTTP/1.1”200 205 19（io.confluent.rest-utils.requests）[2018-08 -28 09:05:48,420] 信息http://localhost:8082/mr/v1/consumer/CGStress_TEST11111111111111_6服务：TransacationId:6 EntityId:ed_1 Authorized:true Allowed:true (io.confluent.kafkarest.resources.SecurityRestrictions) {"X-Nssvc-serviceid":null,"Type":"API","X-Nssvc-customerid ":null,"Client-IP":"127.0.0.1","Severity":"INFO","X-Cws-Transactionid":"6","message":{"request":{"content-length ":81,"method":"POST","time":"2018-08-28 09:05:48.419","uri":"mr/v1/consumer/ CGStress_TEST111111111111111_6 ","entity-id":" ed_1","user-agent":"python-requests/2.11.1"},"response":{" status_code":404,"error_response":{"message":"未找到消费者实例。","error":40403}400] INFO 打开与服务器 localhost/0:0:0:0:0:0:0:1:32181 的套接字连接。不会尝试使用 SASL 进行身份验证（未知错误）（org.apache.zookeeper.ClientCnxn）[2018-08-28 09:05:49,400] INFO 与 localhost/0:0:0:0:0:0 建立的套接字连接：0：1：32181，启动会话（org.apache.zookeeper.ClientCnxn）[2018-08-28 09：05：49,403] INFO服务器localhost / 0：0：0：0：0：0上的会话建立完成： 0:1:32181, sessionid = 0x1657f54045b00f3, 协商超时 = 6000 (org.apache.zookeeper.ClientCnxn) [2018-08-28 09:05:49,403] INFO zookeeper 状态已更改 (SyncConnected) (org.I0Itec.zkclient.ZkClient ) [2018-08-28 09:05:49,404] INFO [CGStress_TEST111111111111111_6_UbuntuNTP-1535447146187-7b4d0350]，每 60000 毫秒启动一次自动提交程序 (kafka.consumer.ZookeeperConsumerConnector) {"X-Nssvc-serviceid":null,"Type{"request":{"content-length":81,"method":"POST","time":"2018-08-28 09:05:46.172","uri":"mr/v1/consumer/ CGStress_TEST111111111111111_6","entity-id":"ed_1","user-agent":"python-requests/2.11.1"},"response":{"status_code":200,"time":"2018-08- 28 09:05:49.405"}}} [2018-08-28 09:05:49,409] 信息 127.0.0.1 - - [28/Aug/2018:09:05:46 +0000] “POST /mr/v1/消费者/CGStress_TEST111111111111111_6 HTTP/1.1" 200 124 3239 (io.confluent.rest-utils.requests) root@UbuntuNTP:~/CloudServices/MsgRelay#

这与添加的虚拟 zk 实例有关吗？