问题标签 [kafkacat]

我想在我的 MacOS Mojave（10.14.5）上使用 kafkacat 命令行实用程序（https://docs.confluent.io/current/app-development/kafkacat-usage.html）。我执行了以下步骤

我收到如下错误

dyld：惰性符号绑定失败：找不到符号：_timespec_get
引用自：/usr/local/opt/librdkafka/lib/librdkafka.1.dylib
预期在：/usr/lib/libSystem.B.dylib

dyld：找不到符号：_timespec_get 引用自：/usr/local/opt/librdkafka/lib/librdkafka.1.dylib 预期在：/usr/lib/libSystem.B.dylib

中止陷阱：6

我试过卸载并重新安装kafkacat。

我在使用本教程创建的 docker 容器中有 kafka 集群。当我跑步时，kafkacat -L -b kafka-1:19092我得到：

我怎样才能找到牵头经纪人？我想杀死它并在选举新领导后查看集群的行为。

我的上下文是我正在尝试创建一个 docker-compose，它将启动几个容器来运行 ELK+FileBeats 和 3 个 Kafka 容器。整个 docker compose 及其 yml 配置文件可以在GitHub docker-compose中找到

总而言之，这是我的 docker-compose 部分下载并启动我的一个 kafka 容器：

我想使用 kafkat 调查 kafka，我得到了

已编辑

尝试安装kafkacat后的日志

根据 Cricket_007 的建议编辑

docker-compose.yml（仅编辑行）

相关日志

卡夫卡：

动物园管理员：

我在 spring-boot 中有一个工作人员，它用 20 个分区收听 kafka 主题。我创建了以下侦听器：

在这个监听器中，我打印了分区，发现我所有的消息都来自同一个分区号 - 17。这意味着生产者端正在将所有消息写入同一个分区。

我的容器工厂是ConcurrentKafkaListenerContainerFactory，所以我希望能够同时处理多个事件，这意味着我需要不同的分区来在其中也有事件..

Linux机器中的生产者端是kafkacat，它在这个主题中产生事件。似乎 kafkacat 无法以循环方式发送到分区。

问题是，我必须使用一些 CLI 工具来生成事件而不是服务。有没有办法使用 CLI 工具来解决这个问题？我找不到任何执行此操作的 cli 工具。

我想过在文件中维护一个分区号，并读取它，然后在 kafkacat 命令中提供分区号，然后增加 (partition-number)%partitions，但这不是线程安全的。

注意：主题没有Key，我只产生Value消息，不关心Key。

请帮忙

我们有 2 个 kafka 主题。我想从 topic1 到 topic2 复制 10 条消息。

我尝试使用kafka-console-consumer和kafka-console-producer

首先，我将 topic1 中的 10 条消息保存到某个目录：

然后我尝试使用 kafka-console-producer 将其发送到 topic2：

我得到了错误 - 我的服务无法反序列化数据。我的问题是：

1. 我的解决方案会起作用吗？
2. 为什么我会收到此错误？
3. 将消息从一个主题复制到另一个主题的最佳方法是什么？

UPD：我如何解决这个问题（感谢：Robin Moffatt）：我使用 kafka-mirror 和这个 jar： https ://github.com/opencore/mirrormaker_topic_rename 我可以将消息从一个主题 kafka 复制到另一个主题簇

我的 minikube 中的 kafka 和 zookeeper 有以下配置：

这是我的动物园管理员的配置：

我还有另一个部署：

然后我尝试远程登录它，它可以工作。

这是 nslookup

但是当我尝试达到它时，这就是我得到的：

所以我猜问题出在 Kafka 配置中：如果我评论 env var KAFKA_CFG_ADVERTISED_LISTENERS，它的工作方式如下：

如果我尝试产生一条消息：

然后，如果我尝试消费：

我尝试配置，KAFKA_CFG_ADVERTISED_LISTENERS=PLAINTEXT://kafka-service.kafka.svc.cluster.local:9092但是当我尝试使用 kafkacat 获取信息时仍然超时。

这就是为什么通告的侦听器是本地机器无法访问的主机名。如何修复集群中的 Kafka 配置？

我在本地运行 Kafka。当我尝试写入 Kafka 时，出现以下错误：

我让 Kafka 在端口 9092 上监听：

以下是 kafka 配置的相关部分：

我做错了什么？为什么我不能在本地 Kafka 中写一些条目？

附言

当我使用 Kafka 附带的脚本时，我可以创建主题：

但是当我使用 kafkacat 时kafkacat -b localhost:9092 -t Hoffman04 -P，它会永远挂起，但我仍然可以在日志文件夹中找到文件 Hoffman04 ls -lrt /usr/local/var/lib/kafka-logs：

我需要向 Kafka 生成批处理消息，所以我有一个文件可以提供给 kafkacat：

/tmp/msgs的内容如下

当我运行上面的 kafkacat 命令时，它会向 kafka 插入四条消息 - /tmp/msgs 中的每行一条消息。

我需要指示 kafkacat 正确解析文件 - 即 -H "id=1" 是消息 {"key" = "value0"} 的标头。

我如何实现这一目标？

谢谢

我通过 KUDO 设置了 Kafka：

KUDO Kafka 有一个无头服务。

如何为 kafka 创建主题？

我已经安装了 kafkacat CLI 工具：

我试图将一个 borker IP 从服务器端口转发到我的本地机器：

端口转发有效，但发出 kafkacat 命令失败：

是否可以安装其他一些工具来创建主题并测试该主题中是否有消息。

我想到的唯一其他方法实际上是在 k8s 上部署一个产生消息的服务，并检查 pod 的事件是否有错误

有什么方法可以让 kafkacat 工作吗？

我希望能够使用 kafkacat 将消息传输到 kafka，但还要设置消息的时间戳。但这似乎是不可能的。这是真的还是我遗漏了什么。我似乎在任何地方都找不到完整的 kafkacat 参考文档。