问题标签 [aws-msk]

我的团队正在尝试在使用 MSK 集群还是使用融合云之间做出决定。我们在团队中都有一个共识，如果我们使用 confluent，事情对我们来说会容易得多，因为我们不必担心维护集群，而且因为 confluent 有很好的工具来创建主题，管理 kafka 连接连接器等

然而，从数据治理的角度来看，考虑到我们正在处理的数据类型，confluent kafka 集群留在我们不拥有的 AWS 账户中这一事实引发了巨大的安全问题。

此外，诸如融合许可证的采购过程可能会花费我们很长时间，这意味着我们的项目进度将受阻。

我们已经使用 MSK 进行了 PoC，从 PoC 来看，启动并运行 MSK 集群并不难。

我想了解在生产环境中运行 MSK 集群的主要痛点是什么。

谢谢

如果我必须集成一个外部服务，我有 3 个选项可以让它从 Kubernetes 集群访问。

1. 在 Kubernetes Service 对象中使用 ExternalName
2. 在 Kubernetes 服务对象中使用 ExternalIP
3. 设置端点对象并将端点映射到服务对象

第三个是根据 Kuberenetes 的最佳实践推荐的。如果有多个节点映射到一个服务，端点对象提供了一个选项来列出多个 IP 地址。但不幸的是，端点对象不接受主机名。

所以在我的场景中，我需要从部署在 AWS-EKS 集群中的服务访问 MKS 集群。如果我将 MKS 视为外部服务，我只有一个选项（设置端点和服务），因为我的 MKS 集群有多个节点。但不幸的是，端点架构只能访问 IP 地址。我假设 MKS 集群的 IP 地址是弹性 IP，我不应该将它们用于我的配置。

我的问题：

1. 当我尝试在 AES-EKS 服务中部署我的应用程序时，是否需要将 MKS 视为外部服务？如果答案是肯定的，我可以使用哪些选项来解决这种情况？

2. 如果 MKS 也部署在 EKS 之上，通过在 VPC 之间正确设置安全组以及 VPC 对等互连，我可以从部署在 EKS 上的服务访问 MSK 吗？

我正在尝试将 confluenctinc/cp-kafka-connect 图像从 AWS Fargate 连接到 AWS MSK。当我尝试在不使用 TLS 的情况下进行连接时，它可以工作，但是当我添加 TLS URL:9094 时，它会因超时而失败。我也尝试添加带有 SSL 密钥库和 trustore 文件位置的 connect-distributed.properties 文件，但它没有检测到更改。我的 Dockerfile 看起来像这样：

我的 connect-distributed.properties 看起来像：

我将 AWS EMR 5.31.0 与 Spark 2.4.6 一起使用。如附图的 RHS pic-1所示，不知何故，我无法从结构化流中读取我的 AWS Kafka 之一。

首先，RHS 只是不断显示ExecutionAllocationManager: Request to remove executorId...并以 Errors... 结束，例如要求我增加max.poll.interval.ms或减少max.poll.records，或者只是一条说 OutOfDirectMemoryError: failed to allocate xxx bytes of direct memory 而这个Kafka只有9094 端口。

相反，LHS 显示成功读取了我的另一个 Kafka，它同时打开了明文和 TLS。有 log info Transport Client Factory: Successful created connection to IP:xxx，其中 IP 是我的 Core 机器的价格 IPV4。<== 来自 MSK 用于 TLS 的 9094 端口。虽然它也有一个用于纯文本的 9092 端口，但这次我使用的是 9094。

我的目标是让我的结构化流能够阅读 RHS Kafka。ps 我的 LHS 和 RHS 的结构化流是相同的。而且我只是无法弄清楚是什么让我的结构化流甚至无法从 Kafka 读取数据......

有人可以帮我吗？非常感谢。

嗨，我在 AWS 中部署了 Amazon 管理的 Kafka，

1. 3 经纪人
2. 50GB 大小
3. t3小实例

我希望这个 MSK 运行 9 到 5 并在此之后按比例缩小以节省成本。是否有任何机制来实现这一点。

它每月花费我 110 美元，有没有办法减少这种情况，因为我在下班时间不使用我的应用程序，所以在那个时候运行 msk 是一种成本开销，我正在寻找一种方法来减少这种情况.

对 AWS 完全陌生，任何帮助将不胜感激

我们已经编写了 python 代码来升级 AWS MSK 中的 kafka 版本及其给出的错误

根据kafka的boto3文档

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/kafka.html#Kafka.Client.update_cluster_kafka_version

我们已将 kafka zookeeper 端点、引导节点、集群 arn 和集群版本存储在参数存储中，并从参数存储中获取集群 arn。我们正在使用 describe-cluster 获取当前版本，但它仍然给出指定的当前版本与当前集群值匹配的错误。

我笔记本电脑中boto3的python模块

boto3 1.17.27 botocore 1.20.44

任何有关解决此问题的建议将不胜感激。

我正在尝试反序列化值以恢复 Kafka 消息值。但我找不到合适的反序列化器。我收到以下值：

但是当我试图通过以下方式获取反序列化消息的字符串表示时：

而且它只能部分反序列化它。带有额外的符号。我找不到任何关于它如何序列化的文档，也看不到它的结构。有没有人在使用 AWS Lambda 和 .Net 的 MSK 触发器时看到同样的情况

下面我给出一个来自 aws 文档的消息示例。但是没有关于价值保留的消息（消息的键和值以及形式是什么）

我正在尝试将 AWS MSK 与 Confluent 提供的 RestProxy 集成。我创建了 AWS MSK 集群，没有进行身份验证，并在同一个 VPC 上部署了 confluent 提供的 RestProxy。在休息代理上为引导服务器提供明文 Zookeeper 连接和 SSL 后，当我点击时

我从休息代理那里得到 404。如果我打

资源以空 json {} 响应

我不确定我错过了什么。

我在没有公共访问权限的公共子网中创建了一个 DMS 实例。Kafka 在同一 VPC 内的私有子网中创建为 MSK 集群。没有 SSL。

端点测试显示应用程序错误 1020912：无法连接到数据库。

我可以确认 Kafka 运行良好，并且可以通过与 DMS 实例位于同一子网中的堡垒主机列出主题。

我正在使用带 MSK 的 Debezium MySQL，设置非常简单。与 MySQL (Aurora) 的连接测试良好。Kafka主题创建，列表都可以。

但是，当我运行连接器时，经过大量滚动信息后，我得到

他们中的很多人不断出现，并且连接器无法正常工作。