问题标签 [amazon-msk]

在我的几个集群上，我看到 zookeeper 返回的主题列表与代理相比存在差异，即以下命令返回不同的（在代理的情况下更少）结果

我已经在多个客户端版本中看到了这种行为，这让我认为问题出在服务器端，但我不知道根本原因是什么或如何解决它。

这给我带来了一个问题，因为我正在使用一些代码，这些代码使用代理进行 GET 操作，如列出主题，以及使用 zookeeper 进行 SET 操作（创建/更新主题）。如果代理未在列表中返回主题，则代码路径会导致针对 zookeeper 的 CREATE 操作，该操作将被拒绝（它将失败）。不幸的是，我不控制代码，所以我不能在那里应用修复。

尽管如此，zookeeper 中的主题列表肯定应该与代理中的列表相同吗？

我正在使用 Kafka (Amazon MSK) 版本 2.2.1

AWS Lambda 支持 Kinesis 和 DynamoDB 事件源的并行化因子。但它不支持 MSK。我们可以创建 Lambda 函数的保留并发吗？它是否有助于从 MSK 主题并发消费

我在 AWS MSK 中创建了一个集群并创建了一个主题。我可以在与集群相同的 VPC 中生成和使用来自 EC2 实例的事件。具体用例是我想使用 Java 来消费事件。KafkaClient AWS SDK没有任何事件消费的方法，所以我这里不能用。在创建KafkaConsumer时，我无法直接在 Properties() 中传递引导服务器，因为 IP 在 VPC 内部。

我已经阅读了有关连接到 MSK 的方法的 AWS指南，但不确定哪种方法适合这个确切的用例。我尝试了几种方法-

1. 将 Advertisementd.listerners 设置为实例的公共 IP。但是在创建 KafkaConsumer 后列出主题时仍然会出现此错误- Connection to node -1 could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)

2. 在安全组入站规则中打开相关端口（在我的情况下为 PLAINTEXT 为 9092）。Connection refused执行此操作后尝试 telnet 到端口 9092 时仍然出现错误。

我的问题是上述任何一项工作，我只是在这里遗漏了其他可以解决这个问题的东西。还是上述方法都行不通？

我的最终目标是使用 Java 使用来自 MSK 集群的事件。

我正在尝试反序列化值以恢复 Kafka 消息值。但我找不到合适的反序列化器。我收到以下值：

但是当我试图通过以下方式获取反序列化消息的字符串表示时：

而且它只能部分反序列化它。带有额外的符号。我找不到任何关于它如何序列化的文档，也看不到它的结构。有没有人在使用 AWS Lambda 和 .Net 的 MSK 触发器时看到同样的情况

下面我给出一个来自 aws 文档的消息示例。但是没有关于价值保留的消息（消息的键和值以及形式是什么）

上下文： 我按照这个链接设置 AWS MSK 并测试生产者和消费者，它已设置并正常工作。我能够通过 2 个单独的 EC2 实例发送和接收消息，它们都使用相同的 Kafka 集群（我的 MSK 集群）。现在，我想建立一个从 Eventhubs 到 AWS Firehose 的数据管道，其形式如下：

Azure Eventthub -> Eventhub-to-Kafka Camel 连接器-> AWS MSK -> Kafka-to-Kinesis-Firehose Camel 连接器-> AWS Kinesis Firehose

我能够在不使用 MSK（通过常规的旧 Kafka）的情况下成功地做到这一点，但由于未说明的原因，现在需要使用 MSK，但我无法让它工作。

问题： 尝试启动AWS MSK 和我正在使用的两个 Camel 连接器之间的连接器时，我收到以下错误：

这些是有问题的两个连接器：

1. AWS Kinesis Firehose 到 Kafka 连接器（Kafka -> 消费者）
2. Azure Eventhubs 到 Kafka 连接器（生产者 -> Kafka）

目标：让这些连接器与 MSK 一起使用，就像他们在直接使用 Kafka 时所做的那样。

这是 Firehose 的问题：

这是 Azure 的一个：

我想使用 AWS lambda 来消费 kafka 消息，但我收到的事件不包含非常关键的 kafka 标头。有没有办法获取带有标题信息的消息？

我对 kafka 非常陌生，我可以使用 3 个 Broker 在我的 Ec2 实例上设置 kafka。试验成功，我能够生产和消费消息。

这是我的connector.properties文件内容.. ---------------------------------------- ---------------------- name=SQLServer-connector-test connector.class=io.debezium.connector.sqlserver.SqlServerConnector tasks.max=1 database.hostname = database.port=1433 database.user=sqladmin database.password=sql123 database.dbname=AdventureWorks2017 database.server.name=SQLCDC_SERVER table.include.list=HumanResources.Employee database.history.kafka.bootstrap.servers=b-2 .xxxxxxxx.c7.kafka.us-east-1.amazonaws.com:9094,b- 3.xxxxxxx.c7.kafka.us-east-1.amazonaws.com:9094,b-1.xxxxxxxx.c7.kafka .us-east- 1.amazonaws.com:9094 database.history.kafka.topic=HR_cdc #如果 kafka 已通过 TLS 身份验证，请取消以下行的注释。database.history.producer.security.protocol=SSL database.history.producer.ssl.truststore.location=/tmp/kafka.client.truststore.jks

问候！

我们有一个托管在 AWS 云上的应用程序，该应用程序在另一个区域有一个 dr 站点。我们之前使用的是 kafka，但我们改变了使用 aws msk 的方法来满足我们对托管应用程序生成的事件的流式传输需求。

我们的问题是：

如果我们可以为托管应用程序 dr 站点的托管应用程序使用为主站点创建的相同 msk 实例。如果我们这样做，它会为 dr 站点创建新主题，还是会使用托管应用程序在主站点上创建的相同主题。如果我们为托管应用程序配置辅助站点并创建相同的 msk 实例，我们想了解它会产生哪些其他影响。

感谢所有帮助，非常感谢提前。

我正在使用 Cloud Formation 创建 MSK。顺便说一句，我在 Cloud Formation 文档中找不到如何创建 MSK 集群配置。

那么如何使用 Cloud Formation 创建 MSK 集群配置，或者我不能使用 Cloud Formation 创建 MSK 集群配置？

如果有这方面的参考，请回答我。