问题标签 [apache-kafka-mirrormaker]

尝试在 2 个副本和 1 个主盒上设置 kafka 时，遇到了一个奇怪的情况，我无法消费或生产某个主题。

使用Mirror Maker在副本 <--> Master之间同步数据。不断获取以下日志：

[2016-08-26 14:28:33,897] 警告引导代理 localhost:9092 已断开连接（org.apache.kafka.clients.NetworkClient）[2016-08-26 14:28:43,515] 警告引导代理 localhost:9092 已断开连接（ org.apache.kafka.clients.NetworkClient) [2016-08-26 14:28:45,118] 警告引导代理 localhost:9092 已断开连接 (org.apache.kafka.clients.NetworkClient) [2016-08-26 14:28: 46,721]警告引导代理本地主机：9092断开连接（org.apache.kafka.clients.NetworkClient）[2016-08-26 14:28:48,324]警告引导代理本地主机：9092断开连接（org.apache.kafka.clients.NetworkClient） [2016-08-26 14:28:49,927] 警告引导代理 localhost:9092 已断开连接（org.apache.kafka.clients.NetworkClient）[2016-08-26 14:28:53,029] 警告引导代理 localhost:9092 已断开连接（ org.apache.kafka.clients.NetworkClient)**

我可以恢复的唯一方法是重新启动产生这种日志的 Kafka：

[2016-08-26 14:30:54,85​​6] WARN 发现一个损坏的索引文件，/tmp/kafka-logs/__consumer_offsets-43/00000000000000000000.index，删除和重建索引...（kafka.log.Log）[2016 -08-26 14:30:54,85​​6] INFO 恢复日志 __consumer_offsets-43 中未刷新的段 0。(kafka.log.Log) [2016-08-26 14:30:54,85​​7] INFO 已完成日志 __consumer_offsets-43 的加载，日志结束偏移量为 0 (kafka.log.Log) [2016-08-26 14:30:54,860 ] WARN 发现一个损坏的索引文件，/tmp/kafka-logs/__consumer_offsets-26/00000000000000000000.index，删除并重建索引... (kafka.log.Log) [2016-08-26 14:30:54,860] INFO恢复日志 __consumer_offsets-26 中未刷新的段 0。(kafka.log.Log) [2016-08-26 14:30:54,861] INFO 已完成日志 __consumer_offsets-26 的加载，日志结束偏移量为 0 (kafka.log.Log) [2016-08-26 14:30:54,864 ] WARN 发现一个损坏的索引文件，

错误 向主题 dr_ubr_analytics_limits 发送消息时出错，键：null，值：1 个字节，错误：（org.apache.kafka.clients.producer.internals.ErrorLoggingCallback）org.apache.kafka.common.errors.TimeoutException：更新失败60000 毫秒后的元数据。**

这是我的测试阶段，所以我能够重新启动并从主盒恢复，但我想知道是什么导致了这个问题以及如何避免它。有没有办法调试这个问题？

试图通过 Kafka 实现以下目标

假设我有两个 Kafka 集群，我正在使用镜像制作器将主题从一个集群镜像到另一个集群。我知道消费者有一个嵌入式生产者来提交偏移量到__consumer-offsetKafka 集群中的主题。我需要知道如果主 Kafka 集群出现故障会发生什么？我们是否也同步__consumer-offset主题？因为辅助集群可能有不同数量的代理和其他设置，我认为。

请告诉 Kafka 镜像集群如何处理消费者偏移量？

auto.offset.reset设置在这里起作用吗？

有一些最佳实践建议在目标集群上运行 Mirror Maker。 https://community.hortonworks.com/articles/79891/kafka-mirror-maker-best-practices.html

我想知道为什么存在此建议，因为最终所有数据都必须跨越集群之间的边界，无论它们是在目标处使用还是在源处产生。我可以想象的一个原因是 Mirror Maker 支持多个消费者，但只支持一个生产者 - 因此使用多个消费者可能会加速使用具有更大延迟的途中的数据。

如果多线程的性能很重要，那么使用多个生产者（每个消费者一个）来复制数据（使用自定义复制过程）是否有用？有谁知道为什么 Mirror Maker 在所有消费者中共享一个生产者？

我的用例是将数据从多个源集群（约 10 个）复制到单个目标集群。我宁愿在源集群上运行复制过程，以避免在目标集群上出现许多复制过程（每个用于一个源）。

非常欢迎有关此主题的提示和建议。

是否有任何选项可以限制/速率限制MirrorMaker进程，以便目标集群始终以可预测的方式落后于源集群？

此选项是否--num.streams有助于限制流量？

我必须限制并保持目标集群上的延迟，因此它使消费者能够轻松切换到目标集群，而不会丢失任何要处理的消息。

我的消费者可以处理消息中的重复项。但我也不希望他们从一开始/最早消费消息。

卡夫卡版本是：0.9

最近我更新了 kafka 镜像，现在它无法连接到源 zk 服务器 - 消费者失败。之前的版本基于 java:openjdk-8-jre、kafka_2.11-1.0.2.tgz 和 zookeeper:3.4.10。我将 kafka 更新为 kafka_2.12-2.2.0.tgz，保持相同的 3.4.10 zk 版本和 java:openjdk-8-jre。问题是当我启动 kafka mirror 时，现在是 2.2.0，我得到一个非常奇怪的错误：

如果我将 kafka 镜像切换回旧的 docker 镜像 1.0.2 - 它可以工作。我尝试使用源动物园服务器的 IP 地址，同样的错误。有人可以帮我解决这个错误吗？有没有专门针对 2.2.0 镜像制造商的东西？唯一的区别是我从 1.0.0 升级到 2.2.0 的卡夫卡 - 其他一切都保持不变。

我正在尝试在启用 kerberos 的集群上运行 Mirrormaker，该集群源自非现场非 kerberos 集群，并且在启动镜像制造商时出现以下错误。

我的所有关键选项卡都经过验证且有效，我的 server.properties/producer.properties/consumer.properties 设置正确，并且 KDC 也可以访问。防火墙端口配置正确。有没有人遇到过这种类型的错误？

这是我们第一次在启用 kerberos 的集群上使用 mirrormaker，所以我们不知道我们应该得到什么样的输出，或者如何解决这个问题。Mirrormaker 在配置方面似乎非常善变。

任何帮助将不胜感激。

我在docker容器中运行mirrormaker，当我运行mirror maker时出现以下错误。

[2019-09-27 14:38:14,279] 错误 [mirrormaker-thread-0] 镜像制造商线程异常退出，停止整个镜像制造商。(kafka.tools.MirrorMaker$MirrorMakerThread) [2019-09-27 14:38:14,280] 错误 [mirrormaker-thread-1] 镜像制造者线程异常退出，停止整个镜像制造者。(kafka.tools.MirrorMaker$MirrorMakerThread)

有人可以帮我解决这个问题。

谢谢

我已经启动了 kafka MirrorMaker 来跨数据中心镜像数据。MirrorMaker 运行配置中有一个选项--num.streams来决定使用者线程的数量。据我所知，--num.producersKafka 0.9 已弃用，默认情况下有一个生产者线程来处理消费流。这是正确的吗？如果--num.streams它很高，它不会只用一个生产者线程造成瓶颈吗？

如果这是预期的行为，是否最好启动“N”个 MirrorMaker 进程，--num.streams=1以便有 1:1 的消费者和生产者线程，而不是一个 MM 进程，--num.streams="N"以提高 MirrorMaker 性能并防止滞后？

生产者.config

步骤：

1. 在 server1 上启动 Kafka 镜像并推送 100 条消息
2. 验证 server2 上的消息。
3. 关闭server1上的kafka镜像并推送100条消息
4. 几分钟后，在 server1 上启动 kafka 镜像。
5. 很多消息没有被复制到 server2

如果有人可以帮助我了解配置详细信息，我将不胜感激

我们已经设置了 MirrorMaker 来跨两个 Kafka 集群复制消息。我们还设置exclude.internal.topic=false了镜像制造商消费者属性来复制内部主题。我假设这也将复制__consumer_offset topic，这将反过来同步辅助集群中的消费者组偏移量。

但是当我们在辅助集群中启动消费者组时，它从一开始就开始消费消息，所以看起来消费者组偏移量没有在辅助集群中复制。

谁能提供一些建议，我们如何使用 MirrorMaker 或任何其他解决方案同步辅助集群中的消费者组偏移量？