aws-lambda - AWS MSK lambda 并发消费者

Question

AWS Lambda 支持 Kinesis 和 DynamoDB 事件源的并行化因子。但它不支持 MSK。我们可以创建 Lambda 函数的保留并发吗？它是否有助于从 MSK 主题并发消费

Answer 1

文档中的细节非常稀疏。我也在寻找这个，我发现的唯一东西来自这个： https ://amazonmsk-labs.workshop.aws/en/msklambda/tpschemareg/overview.html

在其中，他们从 MSK 读取并发布到 Kinesis，以便 lambda 可以并行处理。如果为真，似乎 MSK 事件源主要用于迁移。只有一个消费者是相当有限的。

也许尝试更多的人可以留下更好的答案。

krishwin 在本文底部的评论似乎也表明了这一点。 https://dev.to/danieljameskay/triggering-lambda-functions-from-amazon-msk-316o

更好的选择可能是 AWS lambda sink 连接器。看起来它将运行一个多达多个分区的 lambda 进程：

• https://docs.confluent.io/kafka-connect-aws-lambda/current/index.html
• https://github.com/Nordstrom/kafka-connect-lambda
• https://github.com/llofberg/kafka-connect-aws-lambda
• https://camel.apache.org/camel-kafka-connector/latest/connectors/camel-aws2-lambda-kafka-sink-connector.html

Answer 2

Lambda 具有自动缩放来控制并发性。除非您有特殊需要，否则您通常不需要设置并发。 https://aws.amazon.com/about-aws/whats-new/2022/01/aws-lambda-auto-scaling-msk-apache-kafka/

Answer 3

您可以在任务设置中设置ParallelApplyThreads为大于 1 。TargetMetadata

检查这个文件。