ssl - Filebeat 和 Amazon MSK (Kafka) 之间的 SSL 设置

Question

我已经成功让 Filebeat 以纯文本模式将日志导出到 MSK。当尝试通过 SSL 执行相同操作时，我从 Filebeat 端收到错误消息

Publish failed with circuit breaker is open

MSK Cloudwatch 日志中的 SSL 握手错误。

我不需要双向验证，所以我假设我只需要从 MSK 控制台传递 Filebeat ACM-PCA 但是我仍然收到 SSL 握手问题。

任何人都可以提供输出到 MSK 的示例 Filebeat 配置。

Answer 1

您可以通过 ACM 控制台创建私有证书。

完成后，您可以从 ACM 导出证书并在 filebeat 输出中使用证书和密钥。

第一步

证书管理器 > 申请证书 > 申请私人证书 >选择你的 kafka 私人证书

对于 DNS 名称通配符，您的 MSK 主机名，例如

*.my-kafka-cluster.h6q2kl.c4.kafka.eu-west-2.amazonaws.com

完成后请求证书

第二步

在证书管理器的actions下导出Private证书，点进去就可以得到证书、证书链和密钥。您只需要证书和密钥。

第三步

将您的证书和密钥添加到您的实例并配置您的 filebeat 输出以使用 SSL 证书。（您可能希望从密钥中删除密码）如果未配置 filebeat 密钥库以避免明文密码

openssl rsa -in [original.key] -out [new.key]

output.kafka:
  hosts: ["*******"]

  topic: "*****"
  partition.round_robin:
    reachable_only: false

  required_acks: 1
  compression: gzip
  max_message_bytes: 1000000

  ssl.certificate: "/root/certs/kafka-broker.pem"
  ssl.key: "/root/certs/kafka.key"

重新启动 filebeat 后，您应该开始在主题中看到您的数据