问题标签 [apache-kafka-security]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
1557 浏览

ssl - 融合模式注册表 SSL 配置

我是卡夫卡领域的新手。

我在 RHEL7 机器(主机名:)中安装了 kafka、zookeeper 和模式注册表kafka-confluent,它不是集群设置,所以只有 1 个代理。

现在我想为我的设置配置 SSL 加密。我根据文档创建了 ssl 密钥和证书。

然后我配置了属性文件。

我的(融合平台安装目录)/etc/kafka/server.properties

我的(融合平台安装目录)/etc/schema-registry/schema-registry.properties

我之前已经test创建了一个主题,当我在服务器中发布消息时,它失败了:

然后我检查了server.log,它显示身份验证失败:

0 投票
2 回答
469 浏览

security - 如何在不停机的情况下在 Kafka 集群中启用安全性

我们有一个生产中的 Kafka 集群,没有任何安全措施。我们计划在代理端开启安全性(SASL/OAUTHBEARER)。但是看起来只要我们打开代理端安全性,所有不安全的客户端都会立即被删除。为了从不安全集群平稳过渡到安全集群,并且没有任何停机时间,我们希望 Kafka 客户端首先启用安全性。一旦我们所有的客户都迁移了,我们就可以打开代理级别的安全性。但是,我找不到安全客户端可以与不安全的经纪人交谈的方法。有人做过吗?关于顺利迁移到生产安全的任何想法?

0 投票
0 回答
277 浏览

security - 无法重新验证 Kafka 客户端 SASL 连接,应关闭连接

根据 KIP-368 ( https://cwiki.apache.org/confluence/display/KAFKA/KIP-368 ),当 'connections.max.reauth.ms' 显式设置为正数时,服务器将断开任何 SASL不重新认证的连接。如果重新验证尝试失败,则代理将关闭连接,不支持重试。但是,当我的客户端无法重新进行身份验证时,它会进入无限循环的重试。

我希望客户端退出,以便我可以冒泡异常。有什么想法可以解决这个问题吗?

0 投票
0 回答
265 浏览

ssl - SSL 实施后无法从本地网络连接到 Kafka 集群(在 AWS 上)

我已经在 17 节点集群上实现了 Kafka 两种方式的 SSL 身份验证。我已经通过从集群的几个节点运行控制台消费者/生产者命令进行了测试。但是当我尝试从本地网络(笔记本电脑)执行此操作时,它不起作用。我收到 SSL 握手错误。我怀疑它是广告听众问题,因为没有广告。在 server.properties 上定义的侦听器。我们在所有配置中都使用私有 ips/私有 dns。从以下命令工作的本地网络(IP地址是其中一个代理的私有IP)

我的 server.properties 文件有以下条目

请提出解决此问题所需的建议。

0 投票
2 回答
499 浏览

ssl - 如何在kafka集群中启用多个监听器

我有一个 3 节点的 Kafka 集群。我已启用SASL_PLAINTEXT,它与 Port 一起工作正常6667。现在我想为同一个集群中的不同端口启用 SSL。我已启用 trustore 和 Keystore 证书。我从代理端做了以下配置。

我也给予了许可。我得到以下错误

0 投票
1 回答
5086 浏览

java - Kafka java消费者SSL握手错误:java.security.cert.CertificateException:不存在主题替代名称

我正在运行 kafka 2.13-2.4.1 并在用 java 编写的 kafka 客户端(消费者)和 kafka 集群(3 个节点,每个节点有一个代理)之间配置 SSL 连接。我通过Confluent's Documentation使用了官方文档,该文档具有单向身份验证(客户端没有证书),但它不起作用,所以我不得不使用两种身份验证,然后消费者和生产者控制台都通过 SSL 正常通信,但是当我使用我的 java 消费者应用程序时:

我的 kafka 代理配置 server.properties 文件是:

当我运行时java -cp .:/opt/kafka/libs/* -Djavax.net.debug=ssl:handshake KafkaConsumerSSLTest2.java,出现以下错误:

0 投票
1 回答
1111 浏览

apache-kafka - Strimzi 操作员 Kafka 集群 ACL 未启用类型:简单

authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer我们知道要启用要添加的Kafka ACL 属性,server.properties但是如果 Kafka 集群由 Strimzi 操作员运行,如何启用该属性?

从我了解到的 Strimzi 文档中,为了启用授权,需要kind: Kafka在规范下启用以下代码:

完整代码@ kafka-zookeeper-apps-tls-enabled.yml

还有下面的代码kind: KafkaUser

完整代码@ example-consumer-deny-deployment-authentication-TLS-alias-SSL.yml

在上面的example-consumer-deny-deployment-authentication-TLS-alias-SSL.yml代码中,虽然 ACLtype: deny 仍然能够使用消息。

问题是即使上面的代码我在 kafka my-cluster-kafka-0 pod 环境变量KAFKA_AUTHORIZATION_TYPE=simple中看到,即使authorizer.class.name=kafka.security.auth.SimpleAclAuthorizerserver.properties

注意:部署上述代码时, srimzi-cluster-operator pod的日志中没有警告/错误。

我正在第一次使用 Strimzi,所以请帮助我启用 ACL。

0 投票
2 回答
2547 浏览

ssl - Kafka Schema Registry - 启动模式注册表时出错 (io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication)

我正在尝试配置模式注册表以使用 SSL,我已经让 zookeeper 和 kafka 代理使用相同的 SSL 密钥。但是每当我启动架构注册表时,我都会收到以下错误

schema-registry.properties配置 :

有人可以建议吗?

0 投票
1 回答
345 浏览

amazon-s3 - kafka 连接到 s3 无法启动

我正在尝试配置 kafka-connect 以将我的数据从 kafka 发送到 s3。我是kafka方面的新手,我试图在没有任何ssl加密的情况下实现这个流程只是为了掌握它。

server.properties文件中,我所做的唯一更改是将 设置advertised.listeners为我的 ec2 IP:

卡夫卡连接属性:

我的s3-sink.properties文件:

我正在使用以下命令启动 kafka-connect:

起初我收到以下错误:

从其他帖子中我看到我需要创建一个 jaas 配置文件,以便我所做的:

和 :

现在我收到以下错误:

帮助 :)

0 投票
2 回答
4549 浏览

ssl - Apache kafka 消费者 java.security.cert.CertificateException:不存在主题替代名称

我正在尝试使用命令行工具通过 SSL 使用 0.11.0.3 kafka 版本连接以删除 kafka 代理作为消费者,连接字符串如下

ssl.properties文件

我得到的例外

任何想法为什么会发生?是证书的问题吗?我没有生成它们,它们是 kafka 服务器所有者给我的。提前致谢。