问题标签 [kafka-topic]

我想删除之前被覆盖的主题的配置（将其重置为默认值）。使用提供的脚本可以做到这一点

有没有办法使用kafka-clients-1.1.1.jar中提供的KafkaAdminClient来做到这一点？ 我刚刚找到了方法，但是当我使用设置为 null 的配置值调用它时，我在服务器上得到了 NullPointerException：
org.apache.kafka.clients.admin.KafkaAdminClient.alterConfigs(Map<ConfigResource, Config>, AlterConfigsOptions)

空列表也不起作用。

我在 2.11-1.1.0 版本中使用 Kafka。

我们的一个 kafka 集群有问题。我们有 6 个 v1.0 节点，所有主题的复制因子为 3 和 10 个分区/主题，这对我们来说似乎已经足够了。

由于电源故障，其中 3 个节点停机了一段时间，现在我们有很多主题被报告为具有复制不足的分区。

我们在论坛上看到的唯一解决方案（并且似乎更被接受）是滚动重启，直到一切都神奇地修复，但我希望有更好的解决方案。有没有人从这种情况中恢复过来？网络或 cpu 不应该成为同步的问题，因为它甚至没有接近极限。

非常感谢！

我需要将 Kafka 中的所有主题备份到以各自主题名称命名的文件中，并且需要根据用户要求恢复主题。注意：此脚本需要在 Kerberized 环境中运行。
kafkabackup.sh

当消费者运行时，它会不断等待消息接收。我们需要终止进程。
checkandkill.sh

需要您的帮助来完成恢复脚本。

我的 kubernetes 集群中有一个正在运行的 kafka pod。为了获取 prometheus 格式的自定义指标，我配置了一个 jmx_prometheus_javaagent 并设置了端口 2255。我可以列出来自 localhost:2255/metrics 的指标。

问题是，在此之后，我无法列出 kafka 主题。收到以下错误：

中止（核心转储）

任何想法，如何解决这个错误？

我注意到我的一些 kafka 主题的行为方式我无法清楚地解释。

例如：

我特别关心分区：1，它显示领导者'-1'。

我还注意到，由于“超时”，该主题产生的大约 1/3 的消息都失败了。我认为这是一个分区没有领导者的结果。

我想知道是否有人对为什么会发生此问题以及如何在生产场景中从中恢复而不会丢失数据有见解？

编辑：我正在使用基于 librdkafka 的 python 生产者；我看到的错误信息是Message failed delivery: KafkaError{code=_MSG_TIMED_OUT,val=-192,str="Local: Message timed out"}

我在卡夫卡主题方面遇到了一些麻烦。我们的开发环境有 kafka 2.0 版，我已经检查是否启用了主题删除。事实上，我已经能够删除一些主题，但是无论我做什么都不会删除的很少。顺便说一下，经纪人运行良好。

不仅如此，即使这些主题配置正确，这些主题似乎也没有收到来自生产者的任何消息。我们尝试更改发送消息的主题，这很好。

我没有发现关于这两个问题的任何信息，你们中的任何人都知道吗？

我才刚刚开始了解 Kafka 主题/分区，所以我有一个案例，我有 1 个主题和可能更多的 10,000 个分区。我假设拥有 10,000 个分区是一个非常大的数字，不鼓励这样做。

所以我的想法是将 1 个主题拆分为逻辑主题桶，从而使 10,000 个分区分布在这些主题中。

所以而不是：1 个主题 + 10,000+ 个分区

我会有：

10 个主题 + 1,000 个分区

这是一种可行的方法吗？

我们有 3 台 kafka 机器和 3 台 Zookeeper 的服务器

我们有问题即将重新平衡可用代理的分区，我们可以看到（向下）一些分区复制不足，isr 中只有两个代理。取而代之的是 3

在 ISR 中重新平衡 kafka 主题分区的最佳方法是什么

第二 - 我们可以看到领导者 1002 丢失了，解决方案是什么？

备注 - 我们有 23 个主题（下面的列表是部分的）

我正在使用 Kafka 来解耦我的服务，但我对服务消费和产生输入和输出的方式有一些想法。

如果我有一个服务 A，它从我无法控制的某个外部服务中获取数据，我将被迫适应外部系统提供的数据格式（域）。按照这种做法，我的服务 A 将其结果以自己的格式（域）推送到主题。

顺便说一句，我有一个服务 B，它与服务 A 做类似的事情，但使用其他一些外部服务，并且有自己的数据格式（域），它推送到一个单独的主题。

现在，A 和 B 产生的数据的语义相似，但又不一样。但是，管道中的下一步是服务 C，它应该消耗 A 和 B 产生的东西，用它做一些事情并吐出结果。

C 是否应该只知道如何从一个地方使用数据，这意味着 A 和 B（以及未来的任何其他）需要在 C 特定域中产生它们的输出？这意味着，如果 C 消费者改变了它的域，A、B 和任何其他生产者都必须改变，我不喜欢这样。另外，如果我添加另一个消费者 D，例如，这意味着 A 和 B，使用这个类比，应该知道 D 也是他们的消费者，这对我来说看起来很可怕。

我在想 C 应该对它的输入负责，这意味着它依赖于 A 和 B 模型（以及任何其他可能产生自己数据的模型）。这也意味着，当添加新源时，必须更改 C 以包含该数据。

实际上，我倾向于使用 ManySources-OneSink 组件，而不是 OneSource-ManySinks。

有没有首选的做法？

我正在尝试使用 Java 创建的生产者向 Kafka 代理上的主题发送消息。我可以通过控制台向主题发送消息，即使用 kafka-console-producer.sh。但是，当我尝试对在 Java 中创建的生产者执行相同操作时，我收到超时异常，并显示一条消息“100000 毫秒后无法获取元数据。我在此处附加了 kafka 的生产者代码和 server.properties

获取生产者（）：

发布有效负载（）：

服务器属性

生产者属性：

如果我在这里遗漏了什么以及如何让 Java 生产者能够与 kafka 主题进行交流，请告诉我。