问题标签 [kafkacat]

我正在尝试在 Minikube 上设置 Kafka，这是一个非常基本的设置。kafkacat由于失败，我无法验证 Kafka 和 Zookeeper 是否已正确设置。

这是我的配置：

动物园管理员

卡夫卡

豆荚

服务端

卡夫卡猫日志

节点更新

✗ kafkacat -L -b kafka-service:30236 -d 经纪人

minikube ip ✗ kafkacat -L -b 192.168.64.2:30236 -d broker

✗ kafkacat -L -b localhost:30236 -d 经纪人

当我尝试使用 kafkacat 用来自 Kafka 的数据填充 Postgres 表时，我的 bash 命令中出现语法错误：

语法很简单，所以我不明白为什么会出现错误。

奇怪的是，仅当我指定要填充的列列表时才会出现此错误。如果我使用相同的命令填充表中的所有列，一切都会顺利进行，数据最终会出现在表中，就像我想要的那样：

但我希望能够只用来自 Kafka 的数据填充特定的列，而其余的列则用默认值填充。因此，我需要第一个版本的命令工作。

有谁知道，为什么会出现错误？

Postgres 版本：12 kafkacat 版本：1.6.0 系统：CentOS 7

我有一个主题“topic-one”，我想知道它是否配置了“log.cleanup.policy = compact”。

是否可以使用 kafkacat 提取特定主题的属性和/或配置？

docker-compose.yml我在我的 Mac 上用这个启动 kafka ：

我有两个 LISTENER 因为有第二个容器mydb不适用于PLAINTEXT://127.0.0.1:9092侦听器。

事实上，使用

与kafkacat. 但是随后另一个容器无法连接到kafka。

现在我想通过连接到 kafka

但它给出了这个错误

经纪人的debug日志是：

我究竟做错了什么？

我们有以下 kafka-ssh-tunneling 设置。

ssh -N $JUMPHOST -L 2181:w.x.y.z:2181 -L 9092:a.b.c.d:9092 -L 9091:e.e.f.f:9092

• 代理 IP 为abcd，有本地 lo0 设备别名与相同的 IP 地址
• zookeper IP 为wxyz , 有相同 IP 地址的本地设备别名
• kafkahost“入门”主机是eeff

我们计划的用例是kafkacat -C -b localhost:9091 -t <topic>

问题： 连接到 kafka 主机/zookepers 工作正常，但是 kafka 客户端（例如 kafkacat）通过其主机名访问代理ip-a.b.c.d.eu-central-1.compute.internal，而不是通过其 IP。

为了抵消，我在 /etc/hosts 添加了条目

a.b.c.d ip-a.b.c.d.eu-central-1.compute.internal

仍然无法正常工作，尽管 ping 到该主机名是成功的。

Nslookup 给出

问题： 有没有办法告诉 kafka 通过 IP 而不是通过主机名连接代理？如果没有，启动本地 dns 服务器是否可以解决问题？

目标：我想分析一个主题的标题，我正在寻找一些直接的方法来查看标题。所以我不想为此开发额外的应用程序或扩展代码。任何用于查看标题的简单工具都会很有用。

从this question我读到kafkacat可以这样

所以我希望启动 kafkacat 作为我的 docker-compose 的一部分，我的第一次尝试是

我得到了

基于kafkacat教程的第二个试探基础

PS：我的 docker kafka 在没有 docker 网络的 localhost:9092 中可用。在教程的示例中，它的 kafka 在 Docker 网络 docker-compose_default 上的 kafka:29092 中可用

任何线索如何将 kafkacat 添加到我的 docker-compose 中？调查邮件标题的任何其他建议？

*** Robin Moffatt 回答后的第一次编辑

我编辑了 docker-compose 添加了 Robin 的建议

这是我的主题描述

以及我尝试使用 kafkacat 的错误

*** 第二次编辑

现在我可以使用 kafkacat 列出所有主题，但我仍然无法获取消息头

这个 kafkacat 脚本有什么问题吗？

我正在尝试使用融合平台社区和 ksql 无头模式构建警报流应用程序。我的应用程序流程是我向带有主题的基本 ksql 流生成消息（具有阈值、alert_flag、device_id 等列的 json 格式）。ksql 的另一个查询过滤该流并生成警报到另一个表并将警报流发布到另一个主题。现在我想通过 kafkacat 或无论如何更改第一个主题的特定 device_id 的阈值和标志数据。可能吗？

我一直在尝试使用 kafkacat 在主题中查找消息并将其发布回主题中。我们使用 protobuf，因此消息值应该以字节为单位（键可以不同，例如字符串或字节）。但是，我无法发布可以正确反序列化的消息。

我怎么能用 kafkacat 做到这一点？我也愿意使用其他推荐的工具来做到这一点。

示例尝试：

test2.txt 显示：

但是当我使用相同的 kafkacat consumer 命令获取结果时，我只得到最后一行：

我认为问题在于消费输出行（可能是有效负载的一部分？）并且生产者将每一行视为一条新消息。

我是 Apache Kafka 和 Kafkacat 的新手，试图从这里学习新事物：https ://www.youtube.com/watch?v=5Mgni6AYnWg&t=123s at time 17:32。

我在远程 VM 上设置了 kafka 和 kafkacat。

当我在 kafkacat 上输入一些数据时，另一面没有打印任何内容。

另一个术语

可能是什么问题？

以前我已将其报告给kafkacat跟踪器cyrus-sasl，但与/相关的问题已关闭krb5。

错误：

刚刚从哪里localhost/kafkacat_gssapi:1建造Dockerfile：

在 Fedora 33 上运行相同：

有趣的是，如果我KRB5_TRACE=/dev/stdout在直接工作案例中运行，我会看到（完整日志）：

如果 alpine 容器中出现错误（完整日志）：

kafkacat在我看来，在执行 klist后一切正常的主机上看起来也很有趣和奇怪，向我展示了 3 张票：

但同时，如果我更改参数 '-Xsasl.kerberos.kinit.cmd=/usr/bin/kinit --use-referrals --password-file=/conf/paswd Pavel_Alexeev@PETERSBURG.EXAMPLE.COM; klist'我看到只有一张票！例如：

所以我不明白另外两个来自哪里

在容器中执行后的列表kafkacat也只显示一个主体。

将不胜感激任何帮助。

PS 也将其报告为cyrus-sasl问题