问题标签 [apache-kafka-security]

我已将 Ambari v2.7.3 和 HDP v3.1.0 中的 Kerberos 启用到所有 Hadoop 服务。我已经使用 NIFI 验证了 HBase 身份验证。我还需要测试 Kafka。在 Kafka 控制台中，我可以创建一个主题。但是在生产和消费时，我面临如下错误。

以下是我尝试过的 Kafka 生产者命令

当我从 kakfa_2.12-2.3.0 的包中运行 zookeeper 时，出现以下错误

zookeeper_jaas.conf是_

zookeeper.properties文件是

谁能建议可能是什么原因

当我运行 Kafka 代理时，出现错误：

zookeeper.jaas.conf

服务器.jaas.conf

服务器属性

用于运行 Kafka 代理的命令：

我正在使用SASL_SSL作为听众。

这是完整的堆栈跟踪

我们使用的 sasl 机制是，但是SCRAM-SHA-256kafka 生产者只会接受sasl_mechanism, PLAIN,GSSAPIOAUTHBEARER

以下配置将给出错误

配置

我需要知道如何指定正确的 sasl 机制。

谢谢

这是我在 Stackoverflow 上的第一篇文章，我希望我没有选择错误的部分。

语境 ：

Kafka HEAP 大小在以下文件中配置：

使用以下参数：

操作系统是"CentOS Linux release 7.7.1908"。

Kafka 是“confluent-kafka-2.12-5.3.1-1.noarch”，从以下存储库安装：

几天前，我在一个 3 机 KAFKA 集群上激活了 SSL，突然，以下命令停止工作：

哪个返回我以下错误：

在服务器的日志中，当我尝试通过“kafka-topics”请求它时，会出现以下行：

在集群上实施 SSL 之前，我能够正确使用此命令。这是我正在使用的配置。除了“kafka-topics”之外，所有功能都正常工作（消费者、生产者......）：

证书没有问题（由内部 CA 签名，我添加到配置中指定的信任库中的内部 CA）。OpenSSL 显示没有错误：

由于参数“-consumer.config client-ssl.properties”，以下命令与 SSL 配合得很好

“client-ssl.properties”内容为：

现在，我被迫使用“--zookeeper”，根据文档，它已被弃用：

当然，它运行良好：

所以，我的问题是：为什么我无法使用“--bootstrap-server”atm？由于“动物园管理员”的弃用，我担心无法查阅我的主题及其详细信息......

我相信 kafka-topics 需要与 kafka-console-consumer 相同的选项，即“-consumer.config”...

询问是否需要任何额外的精度。

非常感谢，希望我的问题清晰易读。

布莱因

我已经在我的 Windows 10 上安装了 Docker，还安装了 Kafka。我在Kafka 集群中创建了一个“测试”主题。现在我想用一个简单的用户名和密码来保护主题。我对 Kafka 非常陌生，任何帮助都将不胜感激。

要运行 Kafka 命令，我使用的是 Windows“Power Shell”。

我尝试在命令行上运行一些命令

创建主题：- kafka-topics --create --topic test --partitions 1 --replication-factor 1 --if-not-exists --zookeeper zookeeper:2181

为了保护主题，我使用了命令： kafka-acls --topic test --producer --authorizer-properties --zookeeper zookeeper:2181 --add --allow-principal User:alice

不幸的是，它显示“ bash: afka-acl: command not found ”

我需要在 Kafka 配置文件中包含任何内容吗？或者是否可以只从 power shell 运行命令并保护主题？

使用用户名和密码进行保护与 ACL 相同还是不同？

我们正在为 Kafka 使用 Confluent 社区版设置，目前我们需要在集群周围配置 ACL，因此我们已经配置了 zk 和代理节点，因此客户端需要身份验证（用户名/密码） SASL_PLAINTEXT 令牌才能发布/订阅集群，它的在没有模式注册表的情况下完美工作，但是在配置模式注册表时，即使我们已将其配置为使用 SASL+PLAINTEXT 与 brokers/zk 节点的连接，它也无法初始化抛出异常。有什么我想念的请帮忙。

请注意，我们正在使用allow.everyone.if.no.acl.found=true标志，目前我们没有定义 ACL，所以我认为我们不需要为模式注册表用来初始化的 _schema 主题设置任何 ACL。

我正在从不同的资源收集数据，每个资源对每个客户都有一个特定的主题。我只想为每个用户授予对相应主题的访问权限，因此他们无法访问所有主题。我正在使用 Kafka 0.10，并且正在使用 Kafka 工具。有解决办法吗？

我们正在使用 Apache kafka_2.11-1.1.0。每当我们想添加一个新的 Kafka 生产者或消费者时，我们都会更新信任库中的新证书。添加证书后，我们必须重新启动 kafka 集群。有没有办法在不滚动重启 Kafka 的情况下添加证书？从技术上讲，信任库更新不应该要求 Kafka 重新启动。

我有一个带有 Kafka 的 kerberized 集群。我想在集群上使用 Confluent Schema Registry 和 Kafka。从我的本地电脑启动架构注册表，一切正常。但是当我将它上传到集群中的一台机器上并尝试从中运行时，我得到：

错误

我还尝试从集群上的另一台机器上运行它，我得到了相同的结果。

Schema-registry.properties

执行命令：

问题： 为什么它在我的本地电脑上工作，而不是在集群上的机器上？我应该改变什么？

PS即使尝试运行CMAK yahoo kafka-manager（使用相同的jaas.confing和相同的keytab），我也会得到相同的结果