问题标签 [aws-msk]

我认为使用 lambda 来消费到达 AWS MSK Kafka 集群中某个主题的消息是微不足道的，但我无法从 AWS 文档中找到一种方法。以某种方式可能吗？

我想将 Lambda 函数附加到 AWS MSK Kafka 集群中的主题，但根据我在 AWS 文档中的理解，这还不可能。

所以我想我可以有一个 Lambda 函数，它会以间隔运行，使用 CloudWatch 事件每分钟触发一次。

另一种选择是运行一个小型 ec2 单元来运行客户端消费者。

我不确定这是否是最便宜的解决方案。那么，我们可以使用哪些最具成本效益的解决方案来实现像 Lambda 到 SQS 连接器一样工作的解决方案？

在执行持续的 CDC 复制时，AWS Database Migration Service 是否有任何方法可以识别源数据库上的数据库事务边界？如果是这样，它将可用于现有数据的迁移和正在进行的更改的复制，还是仅用于正在进行的更改的复制？

例如，当使用 Apache Kafka 作为 AWS Database Migration Service https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Target.Kafka.html的目标时，有一个选项

IncludeTransactionDetails – 提供来自源数据库的详细交易信息。此信息包括提交时间戳、日志位置以及 transaction_id、previous_transaction_id 和 transaction_record_id 的值（事务中的记录偏移量）。默认值为假。

但我不明白如何通过这些信息获得确切的交易边界。例如，如何获取特定事务范围内的确切记录数。根据提供的文档，看起来我只能得到 -transaction_id这transaction_record_id还不够..

I'm going to use AWS Database Migration Service (DMS) with AWS MSK(Kafka).

I'd like to send all changes within the same transaction into the same partition of Kafka topic - in order to guarantee correct message order(reference integrity)

For this purpose I'm going to enable the following property:

Also, as I may see from the same documentation:

I have a question - in case of 'IncludeTransactionDetails = true', will I be able to use 'transaction_id' from event JSON as partition key for MSK(Kafka) migration topic?

I have a MSK cluster and I am not able to connect to it via an ec2 host in the same vpc. Here are my settings:

1. Security group applied to EC2 (Outbound)
2. Security group applied to MSK (Inbound)
3. The ec2 instance profile role has AmazonMSKFullAccess profile attached to it

Am I missing anything, can't seem to figure it out from the docs. Another interesting thing I noticed is that if I put another egress rule in ec2 security group for 0.0.0.0/0 it works.

command I am using:

我创建了一个 MSK 集群和一个我希望在 MSK 集群上的事件有新事件时触发的 Lambda 函数。

我创建了事件源，它说：

我想要一个较小的 Batch 大小，但我找不到任何方法来改变它。不是通过 CLI 也不是通过 AWS Web 界面。

我没有在官方 AWS 文档中找到有关 AWS Lambda 从 AWS MSK（托管 Kafka）用于消息消费的确认模型的任何信息。

AWS Lambda 如何确认来自 AWS MSK 的 Kafka 消息？是否可以配置它（自动与手动确认）？

我在 AWS 上配置了一个 3 代理 MSK 集群。有什么方法可以暂停集群吗？这个想法是，这是一个为开发目的而保留的集群，为了节省我们的云资源预算，我们会间歇性地停止集群（例如，在周末）。

这可能吗？

我们计划将 AWS MSK 服务用于托管 Kafka 和 Schema Registry 以及来自 Confluent 的 Kafka Connect 服务来运行我们的连接器（Elasticsearch Sink 连接器）。我们计划在 EC2 中运行 Schema Registry 和 Connectors。

根据 Confluent 团队的说法，如果我们将 MSK 用于 Kafka，他们将无法正式支持 Confluent Schema Registry 和 Kafka Connect。

那么，任何人都可以分享他们的经验吗？就像 Anybuddy 在生产环境中同时使用了 MSK 和 Confluent 服务的组合？

使用这种组合有什么风险吗？

是否推荐使用这种组合？

如果我们在连接器方面遇到任何问题，Confluent 社区如何支持？

还有其他建议、意见或替代方案吗？

我们已经拥有 Confluent 企业平台许可证，但我们希望托管 Kafka 服务，这就是我们选择 AWS MKS 的原因，因为根据我们的分析，它比 Confluent Cloud 更具成本效益？

请提前分享您的想法和感谢。

谢谢

我正在尝试在 AWS 中创建一个 Lambda，作为 MSK 主题的生产者。所有 AWS 文档都说要创建一个新的 EC2 实例，但由于我的 Lambda 在同一个 VPC 中，我觉得这应该可以工作。我对此很陌生，我注意到我的日志语句从未在我的 producer.on 函数中命中。我正在使用 nodejs 和 kafka-node 模块。代码可以在下面找到。

本质上，我只是想知道是否有人知道如何做到这一点，以及为什么当我通过 Lambda 运行测试时，producer.on 函数永远不会被命中？这只是一些测试代码，看看我是否可以发送它，但如果需要更多数据以提供帮助，请提前告诉我并感谢。