问题标签 [kafka-topic]

到目前为止，我还没有看到一个 python 客户端在不使用配置选项自动创建主题的情况下显式实现主题的创建。

假设我有许多具有相同前缀的主题，例如：

用于删除单个主题（比如giorgos-topic1）的命令如下：

是否可以使用单个命令和可能的正则表达式/通配符（例如giorgos-*）删除多个主题，而不是键入所有需要删除的主题名称？

为什么在通过此命令删除 Kafka 中的一个主题时：

再次查看主题列表，出现此消息？

我有三个主题，每个主题在 kafka 集群上都有三个分区。

现在，共有 9 个分区。当我创建 9 个消费者时... 6 个处于空闲状态。只使用了三个消费者。

期望是：每个消费者应该拾取一个分区，因此，9 个消费者应该从 9 个分区中拾取文档

但发生的情况是：一个消费者从三个不同主题之一的分区中获取消息。

例如，我有三个主题 Topic_A、Topic_B 和 Topic_C 以及每个三个分区。因此分区如下：

Topic_A_0、Topic_A_1、Topic_A_2、Topic_B_0、Topic_B_1、Topic_B_2、Topic_C_0、Topic_C_1、Topic_C_2

当我创建 9 个消费者时，分配工作如下：

它应该是

是否有任何配置我需要让所有 9 个消费者从 9 个独特的分区中获取消息？

如何检查特定组 ID 现在是否正在收听 kafka 主题或使用任何其他 API 检查收听特定主题的组 ID 数量？

我有一个由 3 个独立物理节点组成的 Kafka 集群，每个节点都有1 zk主机1 broker。我们正在使用 Kafka 0.10.1.1。主题是在 ZK ensemble 上创建的，并且经纪人连接到 ZK ensemble。My ProducerandConsumer是一个 Spring Boot 应用程序（版本 1.5.13 RELEASE）。我们有几个主题与单分区（即 - Partition 0）min.insync.replicas=2和replication_factor=3. 到目前为止，当我们检查--describe主题时，我们发现所有副本都是同步的。注册消费者组，我们已经看到，只有当消费者组处于活动状态时，它才会通过 CLI 以及 Kafka-Manager 显示。到这里就好了。

我们已将个人添加zk:2181为单独的集群以Kafka-manager进行监控。我们看到即使在consumer groups不活动的情况下，它们也会出现在一些具有不同滞后值的集群中（即在动物园管理员上）。某些主题显示滞后的节点甚至不是相同主题的领导者。当我们使用 CLI 进行交叉检查时，除了KMOffsetCache-<<instance-name>>.kafka-consumer-groups.sh --bootstrap-server ...

似乎 zk(s) 或 consumer_offsets 没有正确同步。我想了解为什么？以及如何纠正？

我有一个由 3 个节点组成的 Kafka 集群，每个节点有 1 个 ZK 和 1 个 Broker。

Kafka version 0.10.1.1.

每个主题都有replication-factor=3和min.insync.replicas=2。此后我们通过发布检查--describe主题是否已使用正确的replication-factor和成功创建ISR。

一段时间后，我可以看到一些主题将其 ISR 缩小为单一领导者。

当我连接到zk Shell. 我可以看到所有节点都已启动并且controller在broker:2

即使我尝试重新启动代理（仅代理或与动物园管理员一起），主题也不会扩展。

任何建议都非常感谢！

我正在使用 kafka-connect 将行从 mysql 表流式传输到 kafka 主题。

当我在我的 ksql 客户端上运行它时：

我得到一个看起来像这样的主题列表：

我想知道 的含义是什么Registered，对于通过 kafka-connect 创建的所有主题似乎总是错误的。

我还没有在文档中找到任何东西。我还注意到，一旦我从这个主题创建了一个 STREAM，Registered就会变成true.

我是 KAFKA 协议世界的新手，我想问你一些与我的项目相关的重要信息。

我正在使用 AVRO 文件来生成和使用消息，我想知道我是否可以将相同的 avro 文件用于多个主题，例如通过在生产者中使用不同的“名称”属性以及在中使用特定的“名称”属性消费者。

非常感谢。斯特凡诺

所以当我寻找一种方法来计算一个主题中的消息时，这个很好

kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1

唯一的事情是，当我将retention.ms配置更改为时retention.ms=1000，甚至通过运行检查主题是否已配置kafka-topics --describe --zookeeper zookeeper1:2181 --topic rev-dly-upd。我可以清楚地看到该配置设置为1000 ...

然而，当我运行 kafka-run-class kafka.tools.GetOffsetShell --broker-list broker1:9092,broker2:9092,broker3:9092 --topic rev-dly-upd --time -1all 时，我总是会返回记录。可能是什么原因？