问题标签 [aws-msk]

我需要从 AWS SES 获取消息并将它们发布到 AWS MSK (Kafka) 主题。这可能吗？我目前的理解是所有 MSK 客户端都必须位于同一个 VPC 中。我将如何适当地配置 Lambda 函数？

我正在评估 AWS Managed Service Kafka (MSK)，我知道它目前处于预览模式，因此可能没有所有功能或适当的文档。我尝试设置 msk 集群并验证 msk 是否可以满足我们公司的所有用例/要求，但目前它缺乏文档和示例。

https://docs.aws.amazon.com/msk/latest/developerguide/what-is-msk.html

我有以下查询：

i) 如何使用在我的本地系统上运行的 Kafka 客户端访问 AWS MSK？

ii) MSK 是否支持模式演化和仅一次语义？

iii) MSK 是否会提供一些方法来更新某些集群或调整配置？就像 aws 胶水在其托管环境中为 spark executr 和驱动程序内存提供参数更改一样。

iv) 是否可以将 MSK 与其他 AWS 服务（例如 Redshift、EMR 等）集成？

v) 我可以通过 ksql 将流式 sql 与 MSK 一起使用吗？如何使用 MSK 设置 KSQL？

vi) 如何对流经 MSK 的数据进行实时预测分析？

vii) 与 Azure/confluent 中的其他基于云的 kafka 集群相比，MSK 的可靠性如何，以及与 vanilla kafka 相比的任何性能基准？集群中可以启动的最大代理数量是多少？

当生产者首次向主题发布消息时，我们的 AWS MSK 集群不会自动创建主题。这令人惊讶，因为根据https://kafka.apache.org/documentation/#brokerconfigs的默认行为应该有auto.create.topics.enable = true.

我试图在我的代理上设置此配置，但我无法，因为该配置read-only用于动态更新。

$KAFKA_BROKER注意：我在输出中替换了我们经纪人的 IP

如何配置我的 AWS MSK Kafka 集群以启用主题的自动创建？

ubuntu 不支持通过 awscli 的 kafka 命令吗？对于与 MSK 交互的任何消费者/生产者，我们是否必须使用“Amazon Linux 2 AMI (HVM)、SSD 卷类型”？

当我们建立一个 Ubuntu 18.04 实例时，它说

awscli 已经是最新版本 (1.14.44-1ubuntu1)。

并aws kafka help显示：

ubuntu@ip-xxxxxxxxx:~/kafka_2.12-2.1.0$ aws kafka help usage: aws [options] [ ...] [parameters] 要查看帮助文本，您可以运行：

aws 帮助 aws 帮助 aws 帮助 aws：错误：参数命令：无效的选择，有效的选择是：

厘米 | alexaforbusiness apigateway | 应用程序自动缩放应用程序流 | appsync 雅典娜 | 自动缩放自动缩放计划| 批量预算
| ce cloud9 | clouddirectory cloudformation | 云端cloudhsm
| cloudhsmv2 云搜索 | cloudsearchdomain cloudtrail | cloudwatch 代码构建 | 代码提交代码管道 | codestar 认知身份
| cognito-idp 认知同步 | 理解当前 | 数据管道 dax
| devicefarm 直接连接| 发现 dms | ds dynamodb | dynamodbstreams ec2
| ecr 电子商务 | efs 弹力痛
| elasticbeanstalk 弹性转码器 | elb elbv2 | 埃姆斯
| 事件消防水带 | gamelift冰川
| 胶青草| 卫士健康
| 进出口贸易 | 检查员物联网
| 物联网数据 物联网工作数据 | kinesis kinesis-video-archived-media | kinesis-video-media kinesisanalytics | 运动视频公里
| lambda lex 模型 | lex 运行时光帆 | 日志机器学习
| 市场权利市场商业分析| 媒体转换媒体直播 | 媒体包媒体商店| mediastore-数据计量市场| mgh 移动
| mq mturk | opsworks opsworkscm
| 组织查明| 波利定价 | rds红移
| rekognition 资源组| resourcegroupstaggingapi route53 | route53domains sagemaker | sagemaker-runtime sdb | serverlessrepo 服务目录 | 服务发现 ses | 屏蔽短信 | 雪球sns | sqs ssm
| stepfunctions 存储网关 | sts支持| swf 转录 | 翻译 waf
| waf-区域工作文档| 工作邮件工作区 | xray s3api
| s3 配置 | 部署配置服务
| opsworks-cm runtime.sagemaker | 历史帮助

我有一个在 AWS MSK 上运行的 Kafka 集群，Kafka 生产者和消费者 go 客户端在 kubernetes 中运行。生产者负责将数据流发送到 Kafka。我需要帮助解决以下问题：

1. 比方说，生产者代码中有一些代码更改，必须在 kubernetes 中重新部署。我怎样才能做到这一点？由于数据是不断生成的，我不能简单地停止已经运行的生产者并部署更新的生产者。在这种情况下，我会在更新过程之间丢失数据。

2. 有时由于代码中的恐慌（golang），客户端崩溃，但由于它作为 pod 运行，kubernetes 重新启动它。我无法理解这是好事还是坏事。

谢谢

如何设置 S3SinkConnector 将数据从我的主题流式传输到 S3 存储桶？我已经从 confluent hub 下载了插件，创建了一个文件connect-standalone.properties和s3-sink.properties.

当我尝试运行./connect-standalone.sh connect-standalone.properties s3-sink.properties时，出现错误：

但我可以看到这个插件可用：

另外，我尝试使用导出 CLASSPATH export CLASSPATH=/home/ec2-user/kafka-plugins，但仍然没有幸运。

如何使用 AWS MSK 设置 S3SinkConnector？

我正在考虑将我们现有的 Apache Kafka 设置（版本 2.1.0）替换/移动到 Amazon 的 MSK 并使其在 EKS 上工作的可能性。

我一直在环顾四周，看看这是否真的可行，是否有人这样做或尝试过，但到目前为止，我只看到在 EKS 上使用 Apache Kafka 的参考。有谁知道在 EKS 上使用 MSK 是否可能/有意义？

非常感谢。

在向 msk(kafka 2.1.0) 生成消息时，我得到了

“向主题 AWSKafkaTopic发送消息时引发异常key='null'”payload='Message->0'

我正在尝试使用 docker 从部署在 EC2 上的 springboot 应用程序生成它。但是当我尝试使用 kafka-console-producer.sh 从同一个 EC2 客户端生成消息时，生产者工作正常。

我已经在本地使用 kafka 2.3.0 和 zookeeper 尝试了相同的程序，它在那里运行良好（在 docker 上运行 springboot 应用程序）。

日志：

我希望能够对客户端进行身份验证/授权以生成/使用某些主题的消息。它们将成为我们 vpn（包括 aws）的一部分。据我了解可用的文档，唯一的选择是颁发客户端证书并根据客户端 DN 设置 ACL？不幸的是，我无法使用我的私有 CA（我在我的 linux 笔记本电脑上创建的）来创建客户端证书。因此出现以下问题：

1. 我需要设置 AWS 托管 CA (ACM PCA) 是否正确。这将导致几乎两倍的设置成本，包括。最低代理配置。
2. 我可以通过 confluent 中的“kafka rest proxy”之类的东西将外部世界代理到 msk 集群中——对吗？
3. 我错过了什么吗？AWS 中是否有更简单的方法？

请赐教:)

在此先感谢马塞尔

我有一个用例，我必须通过 Kafka 连接捕获 AWS RDS MySQL 数据库中的数据更改并将其发布到 Kafka 主题上。对于 Kafka，我使用 AWS Managed Streaming for Apache Kafka (MSK) 服务。我已经创建了主题。我只剩下连接器部分，以便消费者在使用主题时可以看到消息/事件。

我的问题是，如何创建 Kafka Connect 连接器来监控 AWS Managed Streaming for Apache Kafka (MSK) 集群中的 AWS RDS MySQL 数据库？

我正在按照Debezium 0.9 教程使用 Docker 容器来实现此目的，用于 Kafka 和 AWS RDS 实例。我想使用 AWS Managed Streaming for Apache Kafka (MSK) 而不是 Docker 容器来实现这一点。我只想在消费者端使用 Docker 容器。

这甚至可能吗，还是我必须为 AWS ECS 或 AWS EKS 做？