问题标签 [aws-msk]

我创建了一个 AWS MSK 集群，并通过在同一 VPC 中运行 EC2 生产者/消费者实例来测试设置。我使用相同的 VPC 和子网创建了一个以 MSK 集群主题作为事件源的 AWS lambda。所有我的子网是私有子网。

集群设置工作正常，因为我已经从 EC2 实例验证了相同的设置。lambda 总是被禁用并出现错误“最后处理结果：问题：连接错误。请检查您的事件源连接配置。

我在下面的 AWS 博客中读到，我们需要在每个区域的公共子网中运行一个 NAT 网关，我们在其中配置了 MSK 集群以确保连接性。这是我需要尝试做的事情吗。我仍然无法理解 EC2 实例如何在同一个 VPC 和子网中运行能够访问 MSK 集群而不是我的 Lambda。有人可以帮忙吗？

https://aws.amazon.com/blogs/compute/using-amazon-msk-as-an-event-source-for-aws-lambda/

另一方面，我有多个 Kafka 主题，我需要从中消费数据并将它们接收到 ElasticSearch 集群。我可以选择在 EC2 中运行 Kafka 连接接收器，我还可以创建一个带有 MSK 主题的 AWS lambda事件源。我知道我可以在 AWS Lambda 中配置多个 MSK 主题。有人可以建议哪种方法更好吗？

我正在尝试将 MSK Lambda 触发器与连接到 VPC 的 Lambda 一起使用。

但是，在部署 Lambda 时，我总是收到此错误：

我试过的：

• lambda 具有https://docs.aws.amazon.com/lambda/latest/dg/with-msk.html中列出的所有必需权限
• lambda 与 MSK 集群位于同一个 VPC 中，我什至部署了另一个可以在 Kafka 中成功生成消息的 lambda，具有完全相同的 VPC 配置。
• 子网连接了一个 NAT 网关和一个互联网网关
• 安全组允许所有端口中的所有传入/传出流量

我还能尝试什么？可能缺少什么？我正在使用来自无服务器框架的这种集成。

编辑：好的，问题出在 MSK 集群的安全组上。

文档提到您需要此规则：

入站规则 – 允许指定为源的安全组的所有端口上的所有流量。

但是有没有办法限制更多而不是允许来自任何地方的流量？

我已经成功让 Filebeat 以纯文本模式将日志导出到 MSK。当尝试通过 SSL 执行相同操作时，我从 Filebeat 端收到错误消息

Publish failed with circuit breaker is open

MSK Cloudwatch 日志中的 SSL 握手错误。

我不需要双向验证，所以我假设我只需要从 MSK 控制台传递 Filebeat ACM-PCA 但是我仍然收到 SSL 握手问题。

任何人都可以提供输出到 MSK 的示例 Filebeat 配置。

我正在尝试设置我的 MSK 集群的 Advertisementd.listeners 配置。但是，我收到以下错误：

要求失败：inter.broker.listener.name 必须是在 Advertisementd.listeners 中定义的侦听器名称

我不确定这个错误是什么意思。我已经尝试搜索它，但什么也没有出现。我有所有与 VPC 相关的配置设置。我能够从集群中读取主题名称和其他配置。

我正在使用 python 的 confluent_kafka 模块的管理客户端。

这是代码：

我有一个 Kafka Streams 应用程序，即使在调试级别，它也会在没有任何适当日志记录的情况下关闭 -

Kafka 版本 - 2.3.1 Broker 版本 - 2.2.1 没有抛出异常。还可以看到类似的场景，应用程序也从 RUNNING 移动到 PENDING_SHUTDOWN。请参阅下面的日志 -

每当触发重新平衡时，我也看到关闭发生。请参阅下面的日志 -

任何人都知道为什么会发生这种情况？

我已经为事件流创建了 MSK 集群，并且我的生产者和消费者 lambda 函数正在 cloudwatch 上生成不同的日志组。我想汇总生产者和消费者 lambda 函数的所有日志以进行调试，以检查有效负载和发布/订阅流。

实现这一目标的最佳方法是什么？

我正在尝试使用 Apache NiFi 在 Amazon MSK 中使用来自 Kafka 主题的消息。NiFi ConsumeKafka 处理器需要 Kafka 的 group.id 属性。在哪里或如何找到 MSK 集群的 group.id 属性？

我正在尝试使用 NiFi ConsumeKafka_2_6 处理器（NiFi 版本 1.12.1）在 Amazon MSK（Kafka 版本 2.2.1）上使用来自 kafka 主题的消息。在 ConsumeKafka 处理器中，我收到警告为“ org.apache.kafka.clients。 NetworkClient [Consumer clientId=console-consumer-34567-5, groupId=nifi-consumer] Bootstrap broker localhost:9092 (id: -1 rack: null) disconnected "。这个问题的原因是什么？这是由于版本使用的 kafka 客户端不匹配或由于连接问题。

我们的 Kafka 设置包括 AWS MSK 上的代理、AWS EKS pod 上的 Confluent Kafka Connect (confluentinc/cp-kafka-connect:5.5.1)。

我们正在尝试使用 Confluent RabbitMQ 源连接器（商业连接器的试用版）https://docs.confluent.io/5.5.1/connect/kafka-connect-rabbitmq/index.html并低于错误。

连接器配置 -

获取连接器状态 -

连接器状态失败且未创建任务。还尝试更新此配置，但每次都出现相同的错误。

日志 -

GET /connector-plugins 请求的输出包含 -

还检查并发现“_confluent-command”主题不包含任何消息。

1. 是因为试用版已经结束并且需要企业许可证还是由于配置中的一些错误？
2. 如何验证试用版的剩余持续时间（因为我们没有使用控制中心）？

提前致谢。

根据文档说这个连接器是一个专有连接器，它需要一个融合许可证作为配置的一部分，以及一个在哪里存储融合平台配置的主题，我的问题是，这个连接器是否与 MSK 集群一起使用或者它需要我的集群要在融合平台上吗？