问题标签 [kafkacat]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
apache-kafka - 尝试消费时如何解决“Leader not available”Kafka错误
我正在玩 Kafka 并使用我自己的本地单一实例 zookeeper + kafka 并遇到这个我似乎不明白如何解决的错误。
我根据Apache Kafka 快速入门指南启动了一个简单的服务器
然后利用kafkacat(通过 Homebrew 安装)我启动了一个 Producer,它只会回显我在控制台中输入的消息
但是当我尝试使用这些消息时,我得到一个错误:
同样,当我尝试列出它的元数据时
我的问题:
/tmp/zookeeper
这是我正在运行的 zookeeper 和/或 kafkacat 实例的问题吗?我问这个问题是因为在删除和/tmp/kafka-logs
目录后,我一直在不断地关闭它们并重新启动它们- 我需要尝试一些简单的设置吗?我尝试添加
auto.leader.rebalance.enable=true
Kafka 的server.properties
设置文件,但这并没有解决这个特定问题 - 如何重新启动 zookeeper/kafka。是关闭它们,删除
/tmp/zookeeper
和/tmp/kafka-logs
目录,然后重新启动zookeeper,然后再重新启动kafka吗?(好吧,也许要走的路是构建一个我可以站立和拆卸的 docker 容器,我打算使用spotify/docker-kafka容器,但它不在 Kafka 0.9.0.0 上,我没有采取是时候建立我自己的了)
apache-kafka - 如何在 Windows 机器上安装和配置 KafkaCat?
我正在尝试在 Windows 机器上安装 kafkaCat 工具。通过运行 ./bootstrap.sh 进行快速构建时,我收到以下错误:
有谁知道如何在 Windows 机器上配置 kafkaCat?
提前致谢。
apache-kafka - 在 minikube 上部署 Kafka
嗨,我是 kubernets 的新手,我正在使用 minikube 单节点集群进行本地开发和测试。
我的要求是我需要在 minikube 上部署 kafka 和 zookeeper,并且应该用于生产或消费消息。我点击此链接并成功将其部署在 minikube 上,其详细信息如下
我已将 KAFKA_ADVERTISED_HOST_NAME 设置为 minikube ip(192.168.99.100)。现在对于消息生产者,我正在使用$cat textfile.log | kafkacat -b $(minikube ip):30244 -t mytopic
它不发布消息,给出以下消息
任何人都可以帮助如何发布和使用消息。
performance - 通过慢速链接运行 kafacat 的性能问题
我在librdkafka消费者实现(版本 0.11)中的fetch.max.message.bytes参数有奇怪的性能问题。我在慢速网络链接(4 Mbps)上使用 kafkacat 运行了一些测试,并收到以下结果:
- 1024 字节 = 1.740 秒
- 65536 字节 = 2.670 秒
- 131072 字节 = 7.070 秒
当我开始调试协议消息时,我注意到了一种提高 RTT 值的方法。
似乎fetch.max.message.bytes值的增加会导致非常高的网络饱和度,但它每个请求只携带一条消息。
另一方面,当我尝试 kafka-console-consumer 时,一切都按预期运行(我通过同一网络链接每秒获得 500 条消息的吞吐量)。
有什么想法或建议可以在哪里查看?
apache-kafka - kafkacat 的 -o (开始消费的偏移量)选项
执行以下带有 -o(开始消费的偏移量)选项但不带 -G(组 ID)选项的 kafkacat 命令会影响其他消费者组吗?
heroku - 尝试使用 kafkacat 从本地计算机连接到 heroku kafka:ssl.ca.location 失败:没有错误
我正在尝试按照这些说明使用 kafkacat 在本地连接到我的 heroku kafka:https ://gist.github.com/crcastle/cb21c2148fc57ad89753bf28b561d910
我正在创建一个这样的环境文件:
然后运行这个脚本来尝试听
然后我得到这个错误:
有趣的是它说生产者,即使我正在尝试消费。
我可以使用相同的主题生产和消费
和
apache-kafka - 如何将 kafkacat 有效负载打印输出转换为二进制
我可以用来kafkacat
从主题中获取元组并将其打印出来:
我在终端中得到了类似的东西:
我是否可以将打印出的有效负载转换为二进制格式,以便将其提供给本地代码进行调试?
java - 如何使用带有消息集线器的 kafkacat
在尝试将 kafkacat 与消息中心一起使用时,我使用了以下内容:
并得到以下错误:
如何使用带有提供凭据的 kerberos 创建正确的密钥,然后使用这些密钥从主题中使用?
apache-kafka - Kafkacat:如何删除一个主题或其所有消息?
我正在寻找一种使用kafkacat
. 是否有可能或唯一的方法是通过此处列出的脚本?
apache-kafka - 使用 kafkacat 查看标头但抛出 % ERROR: Unsupported formatter: %h
我使用 kafkacat 查看标题,但它返回
我的 kafkacat 是 1.3,由安装apt-get install kafkacat
我使用的完整命令是:
上面的工作没有 %h。%H 也不起作用。