问题标签 [kafka-topic]

我正在kafka中进行数据复制。但是，kafka 日志文件的大小增加得非常快。一天的大小达到 5 GB。作为这个问题的解决方案，我想立即删除处理过的数据。我在 AdminClient 中使用删除记录方法来删除偏移量。但是当我查看日志文件时，与该偏移量对应的数据并没有被删除。

我不想要像(log.retention.hours , log.retention.bytes , log.segment.bytes , log.cleanup.policy=delete)这样的建议

因为我只想删除消费者消费的数据。在这个解决方案中，我还删除了没有被消费的数据。

你有什么建议？

我正在使用 MINIKUBE 在 Kubernetes 中部署 Kafka/Zookeeper。下面是我的 YAML 文件：

我已经使用 MINIKUBE 使用以下命令在本地机器 Kubernetes 中成功创建了部署/服务。

我已经在 Kafka pod 中导航，并且可以使用以下命令创建主题，

但是，当我尝试向主题（测试主题）发送消息时，系统会抛出以下错误。

笔记

当我运行netstat -tunap时，端口 30092 和 30181 都显示已建立。

我不知道我在这里错过了什么。请帮助我前进。

感谢并感谢您的帮助。

我有一个主题，其中所有日志都被推送到集中主题，但如果可能的话，我想将其中一些记录过滤到单独的主题和集群中。

谢谢

我正在尝试通过连接 api 消耗 1000 万行大小（600MB）的 csv 文件。连接开始消耗完成 370 万条记录。之后我收到以下错误。

我有一个主题名称主题测试

机器规格：

• 操作系统：CentOs 7
• 内存：16GB
• 高清：80GB

我看到一些博客在谈论 log.dirs 是 server.property 但事情并不清楚它想要输入的方式。我还要创建分区吗？我没有这样做，认为它是同一个数据文件。

我有一个 3 成员 kafka-cluster 设置，__consumer_offsets主题有 50 个分区。

下面是 describe 命令的结果：

成员是节点 0、1 和 2。

很明显，replica=2中的分区没有为它们设置领导者，并且它们的领导者=-1

我想知道是什么导致了这个问题，我重新启动了 2nd member kafka 服务，但我从没想过它会有这个副作用。

现在，所有节点都已经运行了几个小时，这是ls broker/ids的结果：

此外，集群中有许多主题，节点 2不是其中任何一个的领导者，并且只要它只有数据（复制因子 = 1，并且分区托管在该节点上），领导者 = -1，很明显从下面。

Any help with how to fix the leader not being elected is greatly appreciated.

此外，很高兴知道这可能对我的经纪人的行为产生任何影响。

编辑 - -

Kafka 版本：1.1.0 (2.12-1.1.0) 可用空间，如 800GB 可用磁盘。日志文件很正常，在节点 2 上，下面是日志文件的最后 10 行。请让我知道是否有什么特别我应该寻找的。

编辑 2 ----

好吧，我已经停止了领导 zookeeper 实例，现在第二个 zookeeper 实例被选为领导者！至此，未选择的领导者问题现已解决！

我不知道可能出了什么问题，所以任何关于“为什么更换 zookeeper 领导者会解决未选择的领导者问题”的想法都非常受欢迎！

谢谢！

我正在使用谷歌云平台。我需要将来自不同来源的消息推送到一个主题，但应该使用单个异步调用来完成。

我需要使用 C# 语言以编程方式清除或删除 Kafka 主题。目前，我使用Confluent.Kafka库来发布和使用 Kafka 主题。

我可以像这样使用命令行删除 Kafka 主题

是否有任何库或方法可用于使用 C# 语言以编程方式清除 Kafka 主题？

背景： 我在我的 kafka server.properties 文件中设置了默认分区数 = 1 和复制因子 = 3，并启用了主题创建。Kafka 集群在身份验证和授权下运行。对于某些主题，我只向一个用户授予了创建、读取、写入的权限，并且权限基于诸如 foo 之类的主题前缀。. 此用户有权从以 foo 开头的主题创建和使用。现在，我想创建所有的 foo。默认分区 = 3 和复制因子 = 6 的主题（这与服务器属性中的全局默认值不同）。主题创建是动态的，事先不知道名称。

问题： 是否可以为 foo.* 类型的主题指定不同的默认分区和复制因子？如果不是，从生产者的角度来看，实现这一目标的最佳方法是什么？

我知道 KafkaAdmin 实用程序，但主题创建将发生在生产者身上，出于安全原因，我不想将 zookeeper 中存储的元数据的管理员权限授予运行生产者的用户。

谢谢！

如果我运行命令，我完全是一个蹲在Kafka土地上的人

这东西只需要永远回来。没有错误，但也没有数据。
我想要的只是该主题中的最新 10 条消息，并且我阅读了partition和offsets. 现在我不知道我应该如何去获取这个信息我在其他地方读到过这个命令

但我不知道我的消费群体。我只知道topic第一个命令中提到的名称和其他参数因此使用此 ltd 信息如何获取主题中的最后 10 条奇数消息，仅搜索特定分区和偏移量或任何其他方式

我尝试使用该kt工具

我知道经纪人是有效的，因为我正在使用他们

我最想要的是：

• 以最直接的方式获取partition和偏移，无需任何附加信息，例如消费者组
• 自动搜索最后 10 个的任何其他方法messages- 分区、偏移和获取
• 任何可以防止我发疯的基于 GUI 的工具

将 Kafka 与 Java lib 一起使用，我想禁用主题的自动创建（如果它尚不存在）。

有些网站说我应该把 auto.create.topics.enable 设置为 false，但这在 Java 中不被识别。

目前我把它作为环境变量放在我的 docker-compose 中：

这可行，但我想由用户从 Java 管理它。

这可能吗？