0

我们目前正在使用捆绑 Kafka 2.0.0 的 HDF (Hortonworks Dataflow) 3.3.1。问题在于在同一个 KafkaConnect 集群上运行具有不同配置（Kerberos 主体）的多个连接器。

作为此 Kafka 版本的一部分，所有连接器都应该使用相同的消费者/生产者属性，这些属性已在工作者配置中设置，带有 consumer.* 或 producer.* 前缀。但正如我所说，我们有多个用户（应用程序）运行他们自己的连接器，我们不能使用单个 Kerberos 主体来允许读取所有主题。

因此，只是想咨询专家是否有任何方法可以克服这种安全限制。我能想到的选项是 - 为每个 Kafka 用户（不同的主体）运行不同的 Kafka-Connect 集群，但是如果我们在同一节点上运行许多 KafkaConnect 集群会产生什么影响？它会在资源（Java 堆等）方面造成任何影响，还是这是处理此问题的唯一方法（标准程序）。

PS：在以后的版本（2.3+）中，这个问题是通过KAFKA-8265修复的，这些设置可以被覆盖，但即使我们尝试升级到最新的 HDF，我们也只会得到 Kafka 2.1，这无法解决这个问题。

谢谢你的帮助 ！！

4

1 回答 1

0

我认为升级是获得链接功能的最佳选择。正如我评论的那样，您可以自己获取最新的 kafka 版本...... Hortonworks/Cloudera 无论如何都不提供对 Connect 的支持。他们宁愿你使用 Spark/Flink/NiFi（我认为 Storm 已经不存在了？）

如果我们在同一个节点上运行多个 KafkaConnect 集群，会产生什么影响？它是否会对资源（Java堆等）造成任何影响？

堆是主要的（用于批处理，接收器连接器）。网络和 CPU 负载也可能会被考虑在内，具体取决于消息的速率。

只要每个集群进程的通告端口不冲突，您就应该能够使用相同的组 ID 和内部主题，不过

于 2020-02-03T15:23:26.443 回答