问题标签 [kafka-topic]

我正在使用 AWS MSK，并且我想启用 ACL，但在打开 ACL 时我无法创建主题。我正在使用命令行工具进行所有操作。这是我正在做的事情的摘要：

• 创建一个新的集群
• 创建一个主题 - 这很好用
• 在 resource=CLUSTER 和 operation=ALL 上为 client1 开启 ACL
• 使用 AdminClient 创建主题（通过提供 --bootstrap-server 选项） - 这会产生超时异常
• 重新尝试创建相同的主题 - 这给出了一个错误，说主题已经存在
• 使用 AdminClient 列出主题 - 这不返回任何主题
• 使用 Zookeeper 连接创建主题 - 这有效
• 使用 Zookeeper 连接列出主题 - 这将返回我创建的所有主题（即使是那些超时的主题）

所以问题是主题是在 Zookeeper 上创建的，但代理无法访问它。大概是由于我缺少一些 ACL 规则。

我运行的命令的原始输出：

再次运行相同的命令：

通过 AdminClient 的主题列表：

通过 Zookeeper 连接的主题列表：

这是我的 ACL 规则：

我错过了什么？

有如下文档说明可以在 Kafka 集群仍在运行时进行 Kafka 主题级别的配置更改。

• https://docs.confluent.io/current/kafka/dynamic-config.html#changed-topic-configurations-dynamically

我的问题是：

• 配置更改何时生效？需要重启Kafka集群吗？ https://community.cloudera.com/t5/Support-Questions/Kafka-alter-topic-requires-broker-restart-to-take-effect/td-p/44396

• 配置更改效果在不同的主题级别配置中是否存在差异？http://kafka.apache.org/documentation/#topicconfigs

我们在环境中使用 3 个 kafka 节点测试 scalein，每个节点在 replica.factor=2 上都有一个代理和 zookeeper 服务，在服务在 2 个节点上关闭后，分区的领导者保持旧节点并且没有移动到唯一的节点起来了

并发送一条错误消息

错误：分区 0 没有领导者。跳过获取偏移量错误：分区 2 没有领导者。跳过获取偏移量错误：分区 3 没有领导者。跳过获取偏移量

为什么会发生这种情况？

在这里你可以看到即使有副本集，领导者是如何留下来的

我正在使用Kafka_2.12版本2.3.0。出于删除主题的目的，我正在使用以下代码片段

但是当执行上述代码时，我的 Kafka 服务器正在关闭。这是卡夫卡日志

控制器日志

服务器日志

我缺少一些其他步骤/配置吗？

我的 3 个 Kafka 集群中有 2 个因 replica_factor=2 而关闭 我不关心数据，我只想保存我的 Kafka 并重用它的主题。我测试了一个有 4 个分区的主题，

我在 server.conf 中添加了 unclean.leader.election.enable=true 但只有在该节点上具有副本的分区更改了领导者，其他分区更改为 -1

即使这意味着丢失数据，我应该怎么做才能将分区0领导者更改为2？

我正在学习 Kafka 并尝试为我最近的搜索应用程序创建一个主题。假设推送到 kafka 主题的数据数量很大。

我的 kafka 集群有 3 个代理，并且已经为其他需求创建了主题。

现在我应该为我最近的搜索主题选择多少分区？如果我没有明确提供分区号怎么办？选择分区号时需要考虑哪些事项？

我有 3 个代理和几个主题的 kafka 集群，每个主题有 5 个分区。现在我想为分区设置复制因子。

我可以为 kafka 主题的分区设置的最大复制因子是多少？

在一个 3 节点集群上，我创建了包含数千条消息的几个主题。我注意到删除一个主题需要很长时间。我花了14 多分钟才删除 500 个主题。

1. 是否有删除主题的最佳实践？
2. 是否有任何文件可以解释为什么删除一个主题需要这么多时间？
3. 当我创建一个主题时，Kafka 会在 log.dirs 下创建一个文件夹。我有 10000 个主题；我运行了一个命令来删除所有这些。Kafka 已从 log.dirs 中删除了所有 10000 个文件，但 Kafka-topics.sh 显示文件系统上不存在的主题，并带有“-标记为删除”。

嗨，我正在研究卡夫卡。我正在尝试了解 kafka 的基础知识。我现在正在学习卡夫卡。我使用 docker 安装了 kafka。目前我有一个经纪人。我使用以下命令创建了具有 3 个分区的主题。

之后，我创建了如下的生产者。

我在这里完全糊涂了。当我添加上述数据时，我的数据位于三个分区还是一个分区？因为上面我创建了三个分区。在分区中，我们有从零开始的偏移量。所以在上面的例子中，当我输入 This is my producer 整个文本将位于偏移量 0 或一个字符位于一个偏移量？我知道这是非常基本的，但没有任何文档谈到这个！

接下来进入消费者部分，如果我想消费一些数据，如果数据位于不同的分区，数据将如何来自不同的分区或数据整合将如何发生？有人可以帮助我了解基础知识吗？任何帮助将不胜感激。谢谢

我正在探索不同的 PubSub 平台，我想知道 Kafka 在收听多个主题方面有什么限制。例如考虑这个用例。我们有火车、车站入口、所有发布遥测数据的设备。目前这是在 MQ 上完成的，但随着数据速率的增加、智能列车等的增加，我们需要转移到新的 PubSub/流媒体平台，当然 Kafka 也在该列表中。

正如我所看到的，有两种策略可以将此遥测数据聚合到流中：

1. 消费聚合，其中每个火车/设备最初都有自己的主题，主题聚合是使用正则表达式主题/虚拟主题完成的
2. 在生产上聚合，其中所有火车都生产到一个主题，消费者在必要时使用过滤器来挑选单个生产者

据我了解，Kafka 并不特别适合大量主题（> 10.000），但可以做到。正则表达式主题是否能够聚合 2000、3000 个主题？