有一些最佳实践建议在目标集群上运行 Mirror Maker。 https://community.hortonworks.com/articles/79891/kafka-mirror-maker-best-practices.html
我想知道为什么存在此建议,因为最终所有数据都必须跨越集群之间的边界,无论它们是在目标处使用还是在源处产生。我可以想象的一个原因是 Mirror Maker 支持多个消费者,但只支持一个生产者 - 因此使用多个消费者可能会加速使用具有更大延迟的途中的数据。
如果多线程的性能很重要,那么使用多个生产者(每个消费者一个)来复制数据(使用自定义复制过程)是否有用?有谁知道为什么 Mirror Maker 在所有消费者中共享一个生产者?
我的用例是将数据从多个源集群(约 10 个)复制到单个目标集群。我宁愿在源集群上运行复制过程,以避免在目标集群上出现许多复制过程(每个用于一个源)。
非常欢迎有关此主题的提示和建议。