问题标签 [kafkacat]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
11992 浏览

apache-kafka - 尝试消费时如何解决“Leader not available”Kafka错误

我正在玩 Kafka 并使用我自己的本地单一实例 zookeeper + kafka 并遇到这个我似乎不明白如何解决的错误。

我根据Apache Kafka 快速入门指南启动了一个简单的服务器

然后利用kafkacat(通过 Homebrew 安装)我启动了一个 Producer,它只会回显我在控制台中输入的消息

但是当我尝试使用这些消息时,我得到一个错误:

同样,当我尝试列出它的元数据时

我的问题:

  1. /tmp/zookeeper这是我正在运行的 zookeeper 和/或 kafkacat 实例的问题吗?我问这个问题是因为在删除和/tmp/kafka-logs目录后,我一直在不断地关闭它们并重新启动它们
  2. 我需要尝试一些简单的设置吗?我尝试添加auto.leader.rebalance.enable=trueKafka 的server.properties设置文件,但这并没有解决这个特定问题
  3. 如何重新启动 zookeeper/kafka。是关闭它们,删除/tmp/zookeeper/tmp/kafka-logs目录,然后重新启动zookeeper,然后再重新启动kafka吗?(好吧,也许要走的路是构建一个我可以站立和拆卸的 docker 容器,我打算使用spotify/docker-kafka容器,但它不在 Kafka 0.9.0.0 上,我没有采取是时候建立我自己的了)
0 投票
1 回答
10237 浏览

apache-kafka - 如何在 Windows 机器上安装和配置 KafkaCat?

我正在尝试在 Windows 机器上安装 kafkaCat 工具。通过运行 ./bootstrap.sh 进行快速构建时,我收到以下错误:

有谁知道如何在 Windows 机器上配置 kafkaCat?
提前致谢。

0 投票
4 回答
8155 浏览

apache-kafka - 在 minikube 上部署 Kafka

嗨,我是 kubernets 的新手,我正在使用 minikube 单节点集群进行本地开发和测试。

我的要求是我需要在 minikube 上部署 kafka 和 zookeeper,并且应该用于生产或消费消息。我点击此链接并成功将其部署在 minikube 上,其详细信息如下

我已将 KAFKA_ADVERTISED_HOST_NAME 设置为 minikube ip(192.168.99.100)。现在对于消息生产者,我正在使用$cat textfile.log | kafkacat -b $(minikube ip):30244 -t mytopic它不发布消息,给出以下消息

任何人都可以帮助如何发布和使用消息。

0 投票
1 回答
428 浏览

performance - 通过慢速链接运行 kafacat 的性能问题

我在librdkafka消费者实现(版本 0.11)中的fetch.max.message.bytes参数有奇怪的性能问题。我在慢速网络链接(4 Mbps)上使用 kafkacat 运行了一些测试,并收到以下结果:

  • 1024 字节 = 1.740 秒
  • 65536 字节 = 2.670 秒
  • 131072 字节 = 7.070 秒

当我开始调试协议消息时,我注意到了一种提高 RTT 值的方法。

似乎fetch.max.message.bytes值的增加会导致非常高的网络饱和度,但它每个请求只携带一条消息。

另一方面,当我尝试 kafka-console-consumer 时,一切都按预期运行(我通过同一网络链接每秒获得 500 条消息的吞吐量)。

有什么想法或建议可以在哪里查看?

0 投票
1 回答
4697 浏览

apache-kafka - kafkacat 的 -o (开始消费的偏移量)选项

执行以下带有 -o(开始消费的偏移量)选项但不带 -G(组 ID)选项的 kafkacat 命令会影响其他消费者组吗?

0 投票
1 回答
660 浏览

heroku - 尝试使用 kafkacat 从本地计算机连接到 heroku kafka:ssl.ca.location 失败:没有错误

我正在尝试按照这些说明使用 kafkacat 在本地连接到我的 heroku kafka:https ://gist.github.com/crcastle/cb21c2148fc57ad89753bf28b561d910

我正在创建一个这样的环境文件:

然后运行这个脚本来尝试听

然后我得到这个错误:

有趣的是它说生产者,即使我正在尝试消费。

我可以使用相同的主题生产和消费

0 投票
1 回答
1410 浏览

apache-kafka - 如何将 kafkacat 有效负载打印输出转换为二进制

我可以用来kafkacat从主题中获取元组并将其打印出来:

我在终端中得到了类似的东西:

我是否可以将打印出的有效负载转换为二进制格式,以便将其提供给本地代码进行调试?

0 投票
1 回答
1784 浏览

java - 如何使用带有消息集线器的 kafkacat

在尝试将 kafkacat 与消息中心一起使用时,我使用了以下内容:

并得到以下错误:

如何使用带有提供凭据的 kerberos 创建正确的密钥,然后使用这些密钥从主题中使用?

0 投票
3 回答
6522 浏览

apache-kafka - Kafkacat:如何删除一个主题或其所有消息?

我正在寻找一种使用kafkacat. 是否有可能或唯一的方法是通过此处列出的脚本?

0 投票
1 回答
846 浏览

apache-kafka - 使用 kafkacat 查看标头但抛出 % ERROR: Unsupported formatter: %h

我使用 kafkacat 查看标题,但它返回

我的 kafkacat 是 1.3,由安装apt-get install kafkacat

我使用的完整命令是:

上面的工作没有 %h。%H 也不起作用。