问题标签 [apache-kafka-security]

我最近在我的 Kafka 集群上启用了双向身份验证。

我正在尝试使用来自 Avro 格式的主题的消息

kafka-avro-console-consumer --bootstrap-server kafka-host:9092 --topic my_topic --consumer.config client-ssl.properties --from-beginning --property schema.registry.url="https://kafka-host:8081"

client-ssl.properties文件的内容在哪里

但会引发以下错误：

我应该如何解决这个问题？

在 Schema Registry 上启用 2-way 身份验证后，我发现我的 Java Kafka 消费者存在同样的问题，并通过在运行消费者.jar文件时包含以下参数来解决该问题：

我正在尝试配置一个 kafka 客户端以针对安全的 kafkaserver 进行身份验证。我已经设置了 jaas 和 ssl 配置，但它抱怨 serviceNames。

我没有使用 Kerberos。

命令

错误

jaas.conf

ssl.properties

运营团队有没有办法限制应用程序团队在 kafka 集群上创建 kafka 流中间主题？

kafka 中的集群操作是什么，通过在脚本中指定--cluster选项可以允许/拒绝哪些操作？kafka-acls.sh

从此_

代理间操作分为两类：集群和主题。集群操作是指管理集群所必需的操作，例如更新代理和分区元数据，更改分区的领导者和同步副本集，以及触发受控关闭

但我无法理解这里的实际用例。

这是我的消费者配置。我正在使用 SSL 进行身份验证。

错误：

我正在尝试设置一个代理服务器（在 java 中首选），它可以将我的连接流传递给 kafka 代理。

Client (Consumer/Producer) <--> [PROXY SERVER] <--> Kafka Broker

我的用例是使用来自 kafka 的数据，但配置参数应该代理到 kafka 代理。

例如bootstrap.servers=xx.xx.xx.xx:9091, topic=<encrypted-topic>

端口 9091 是代理服务器，我将主题解密为原始主题并将连接流传递给 kafka。

代理层的工作是检查加密的主题是否存在于主题的内存映射中，如果是，则解密该主题并连接到 kafka 代理。

所以我通过下面的安全机制保护了一个kafka集群，server.properties并添加了各自的kafka和zookeeperjaas.config文件

并使用以下命令启动 kafka 工具

kafkatool -J -Djava.security.auth.login.config=client_jaas.config

其中 client_jaas.config 包含以下内容

Kafkatool 成功启动集群正在连接，但是当单击主题查看所有主题列表时，它给了我以下错误

Configured to use PLAINTTEXT but broker 0 does not support it.

以下是server_jaas.config文件内容

以下是server.properties文件中的侦听器详细信息

如果我看到命令输出的 kafaktool 的完整错误日志kafkatool -J-Djava.security.auth.login.config=client_jaas.config，下面是我看到的

我使用 librdkafka 作为客户端消费者，并且我已经为代理配置了代理和客户端以支持 SSL：

在客户端我使用这个配置：

我收到了这个错误：

有关更多信息，我同时有另一个使用相同证书和密钥的 python kafka 客户端，它工作正常。我将非常感谢任何帮助。

我正在尝试通过 python 将消息发布到 kafka 主题并收到错误消息。我可以通过 CLI 连接和发布。希望得到一些指导。我已经用谷歌搜索并阅读了文档。谢谢！！

成功的 CLI 命令：

代码：

结果错误：

我正在使用 Kafka 的默认 ACL 授权器，但最近我遇到了一个自定义 ACL 授权器的主题。

我确实检查过，但找不到太多细节。我想了解：

1. 默认 ACL 授权器是否足以在生产中使用？
2. 我可以参考的任何示例了解自定义 ACL 授权方应该做什么？

谢谢！