问题标签 [apache-kafka-security]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
ssl - 融合模式注册表 SSL 配置
我是卡夫卡领域的新手。
我在 RHEL7 机器(主机名:)中安装了 kafka、zookeeper 和模式注册表kafka-confluent
,它不是集群设置,所以只有 1 个代理。
现在我想为我的设置配置 SSL 加密。我根据文档创建了 ssl 密钥和证书。
然后我配置了属性文件。
我的(融合平台安装目录)/etc/kafka/server.properties
:
我的(融合平台安装目录)/etc/schema-registry/schema-registry.properties
:
我之前已经test
创建了一个主题,当我在服务器中发布消息时,它失败了:
然后我检查了server.log
,它显示身份验证失败:
security - 如何在不停机的情况下在 Kafka 集群中启用安全性
我们有一个生产中的 Kafka 集群,没有任何安全措施。我们计划在代理端开启安全性(SASL/OAUTHBEARER)。但是看起来只要我们打开代理端安全性,所有不安全的客户端都会立即被删除。为了从不安全集群平稳过渡到安全集群,并且没有任何停机时间,我们希望 Kafka 客户端首先启用安全性。一旦我们所有的客户都迁移了,我们就可以打开代理级别的安全性。但是,我找不到安全客户端可以与不安全的经纪人交谈的方法。有人做过吗?关于顺利迁移到生产安全的任何想法?
security - 无法重新验证 Kafka 客户端 SASL 连接,应关闭连接
根据 KIP-368 ( https://cwiki.apache.org/confluence/display/KAFKA/KIP-368 ),当 'connections.max.reauth.ms' 显式设置为正数时,服务器将断开任何 SASL不重新认证的连接。如果重新验证尝试失败,则代理将关闭连接,不支持重试。但是,当我的客户端无法重新进行身份验证时,它会进入无限循环的重试。
我希望客户端退出,以便我可以冒泡异常。有什么想法可以解决这个问题吗?
ssl - SSL 实施后无法从本地网络连接到 Kafka 集群(在 AWS 上)
我已经在 17 节点集群上实现了 Kafka 两种方式的 SSL 身份验证。我已经通过从集群的几个节点运行控制台消费者/生产者命令进行了测试。但是当我尝试从本地网络(笔记本电脑)执行此操作时,它不起作用。我收到 SSL 握手错误。我怀疑它是广告听众问题,因为没有广告。在 server.properties 上定义的侦听器。我们在所有配置中都使用私有 ips/私有 dns。从以下命令工作的本地网络(IP地址是其中一个代理的私有IP)
我的 server.properties 文件有以下条目
请提出解决此问题所需的建议。
ssl - 如何在kafka集群中启用多个监听器
我有一个 3 节点的 Kafka 集群。我已启用SASL_PLAINTEXT
,它与 Port 一起工作正常6667
。现在我想为同一个集群中的不同端口启用 SSL。我已启用 trustore 和 Keystore 证书。我从代理端做了以下配置。
我也给予了许可。我得到以下错误
java - Kafka java消费者SSL握手错误:java.security.cert.CertificateException:不存在主题替代名称
我正在运行 kafka 2.13-2.4.1 并在用 java 编写的 kafka 客户端(消费者)和 kafka 集群(3 个节点,每个节点有一个代理)之间配置 SSL 连接。我通过Confluent's Documentation使用了官方文档,该文档具有单向身份验证(客户端没有证书),但它不起作用,所以我不得不使用两种身份验证,然后消费者和生产者控制台都通过 SSL 正常通信,但是当我使用我的 java 消费者应用程序时:
我的 kafka 代理配置 server.properties 文件是:
当我运行时java -cp .:/opt/kafka/libs/* -Djavax.net.debug=ssl:handshake KafkaConsumerSSLTest2.java
,出现以下错误:
apache-kafka - Strimzi 操作员 Kafka 集群 ACL 未启用类型:简单
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
我们知道要启用要添加的Kafka ACL 属性,server.properties
但是如果 Kafka 集群由 Strimzi 操作员运行,如何启用该属性?
从我了解到的 Strimzi 文档中,为了启用授权,需要kind: Kafka
在规范下启用以下代码:
完整代码@ kafka-zookeeper-apps-tls-enabled.yml
还有下面的代码kind: KafkaUser
完整代码@ example-consumer-deny-deployment-authentication-TLS-alias-SSL.yml
在上面的example-consumer-deny-deployment-authentication-TLS-alias-SSL.yml
代码中,虽然 ACLtype: deny
仍然能够使用消息。
问题是即使上面的代码我在 kafka my-cluster-kafka-0 pod 环境变量KAFKA_AUTHORIZATION_TYPE=simple中看到,即使authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
在server.properties
注意:部署上述代码时, srimzi-cluster-operator pod的日志中没有警告/错误。
我正在第一次使用 Strimzi,所以请帮助我启用 ACL。
ssl - Kafka Schema Registry - 启动模式注册表时出错 (io.confluent.kafka.schemaregistry.rest.SchemaRegistryRestApplication)
我正在尝试配置模式注册表以使用 SSL,我已经让 zookeeper 和 kafka 代理使用相同的 SSL 密钥。但是每当我启动架构注册表时,我都会收到以下错误
schema-registry.properties
配置 :
有人可以建议吗?
amazon-s3 - kafka 连接到 s3 无法启动
我正在尝试配置 kafka-connect 以将我的数据从 kafka 发送到 s3。我是kafka方面的新手,我试图在没有任何ssl加密的情况下实现这个流程只是为了掌握它。
在server.properties
文件中,我所做的唯一更改是将 设置advertised.listeners
为我的 ec2 IP:
卡夫卡连接属性:
我的s3-sink.properties
文件:
我正在使用以下命令启动 kafka-connect:
起初我收到以下错误:
从其他帖子中我看到我需要创建一个 jaas 配置文件,以便我所做的:
和 :
现在我收到以下错误:
帮助 :)
ssl - Apache kafka 消费者 java.security.cert.CertificateException:不存在主题替代名称
我正在尝试使用命令行工具通过 SSL 使用 0.11.0.3 kafka 版本连接以删除 kafka 代理作为消费者,连接字符串如下
ssl.properties
文件
我得到的例外
任何想法为什么会发生?是证书的问题吗?我没有生成它们,它们是 kafka 服务器所有者给我的。提前致谢。