问题标签 [aws-msk]

我有一个运行 apache kafka 2.2.1 的安全 MSK 集群。如果我在私有子网（amazon linux 2）中创建一个 ec2 实例并安装 java 和 kafka，我可以执行以下操作来与 kafka 通信：

cp /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.252.b09-2.amzn2.0.1.x86_64/jre/lib/security/cacerts /tmp/kafka.client.truststore.jks

然后制作一个像

并在--command-config参数中将该文件传递给一些 kafka cli 命令。

我现在正在尝试在 ECS 容器中运行 kafdrop，我需要传入这个文件。文档说我可以传入一个base64编码的版本KAFKA_TRUSTSTORE和KAFKA_PROPERTIES（我想我可以省略KAFKA_KEYSTORE？）。但是，如果我对信任库进行 base64 编码，我必须将这个巨大的字符串复制粘贴到 ECS 任务定义中。有没有解决的办法？是否可以以 kafdrop 映像为基础创建我自己的 docker 映像，然后添加到信任库文件中？

我在私有 VPC 上有一个 AWS MSK kafka 集群。我已经设置了一个堡垒来连接到这个集群，并且可以使用 kafka 控制台命令和使用 JVM 密钥库进行 SSL auth 成功地生成和使用来自堡垒的消息。

我正在尝试通过 SSH 隧道从我的 mac -> bastion -> kafka 代理生成/使用消息，但我似乎无法让它工作。

这是我的 SSH 隧道命令： ssh -i ~/bastion.pem -N ec2-user@ec2-myhost.compute.amazonaws.com -L 9094:kafkacluster.amazonaws.com:9094 -v

然后在我的 Mac 上本地运行kafka-console-producer --broker-list localhost:9094 --producer.config client.properties --topic mytopic，但org.apache.kafka.common.errors.TimeoutException: Topic AWSKafkaTutorialTopic not present in metadata after 60000 ms出现错误。

当我使用未启用 TLS 的 zookeeper 服务器时，我没有收到此错误。

所以我的问题是：当 kafka 客户端连接到 localhost:9094 并启用 SSL 时，我怎样才能使这个 SSH 隧道工作？

谢谢

我在 vpc 中有一个亚马逊 msk 集群（kafka），我可以通过同一 vpc 中的客户端（EC2 实例）访问它。我的问题是..我可以从本地计算机上的客户端访问我的集群吗？我该如何做这个配置？我尝试更改 vpc 和子网络的路由表，但仍然无法。

我正在尝试从 spring boot kafka 应用程序连接到 aws msk 集群。

我有 aws msk arn ，可用的引导带服务器配置。

如何集成到应用程序中？任何例子

我可以从本地运行它吗，我的意思是从本地应用程序实例连接到 AWS MSK

msk 集群

在我的几个集群上，我看到 zookeeper 返回的主题列表与代理相比存在差异，即以下命令返回不同的（在代理的情况下更少）结果

我已经在多个客户端版本中看到了这种行为，这让我认为问题出在服务器端，但我不知道根本原因是什么或如何解决它。

这给我带来了一个问题，因为我正在使用一些代码，这些代码使用代理进行 GET 操作，如列出主题，以及使用 zookeeper 进行 SET 操作（创建/更新主题）。如果代理未在列表中返回主题，则代码路径会导致针对 zookeeper 的 CREATE 操作，该操作将被拒绝（它将失败）。不幸的是，我不控制代码，所以我不能在那里应用修复。

尽管如此，zookeeper 中的主题列表肯定应该与代理中的列表相同吗？

我正在使用 Kafka (Amazon MSK) 版本 2.2.1

我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我没有看到任何选择。我需要编写自己的消费者还是有办法直接将 Amazon MSK 消费者输出消费到 s3 ？

我在 MSK 上创建了一个 Kafka 集群，现在我正在尝试使用 python 连接到集群。

我写了这个短代码：

问题是每次我运行它时都会出现这个错误：

我认为这可能与 Kafka 创建主题有关，所以我将这一行添加到配置中。

但我仍然遇到同样的错误。

这是我的完整配置文件：

我在这里想念什么？我在某处读到可能与 SSL 身份验证有关的内容，但在任何步骤中，都没有任何 .pem 文件、.ca 文件或类似的文件。

我有一个应用程序使用 AWS SQS 和 Lambda 来处理推送到队列上的消息。Lambda 继续轮询队列，当出现新消息时，它会处理该消息。

对于这种情况，是否可以在 AWS 上将 SQS 替换为 Kafka。换句话说，我们可以使用 Kafka 作为这个用例的队列吗？

我想开发一个 python 脚本来使用 AWS SDK boto3 在 MSK 中创建主题。我没有看到任何在 Kafka.client 中创建主题的方法。我可以使用 kafka-python 但想使用 AWS SDK 或 CDK

请建议。

比如说 - Kafka 主题名称 - topic_X topic_X 在 Kafka Broker 中有 500 个分区

现在我们为 Consumer_X 组设置了 500 个消费者来处理每个分区。

在哪里运行这 500 名消费者？单机500线程？这可能吗 - 因为线程与核心有关系

如何做到这一点？

即使我们在 Consumer_X 组中减少到 100 个消费者（1 个消费者 =5 个分区），那么上述问题也同样有效

请解释一下