我正在使用 Akka Kafka 连接器开发 Kafka 消费者应用程序。我希望消费者并行处理消息。我应该选择哪个消费群体选择消费者？如何在消费者端配置并行度？
问问题
433 次
1 回答
1
当您谈论 Kafka 和 akka-stream 时，存在不同级别的“并行性”。
Kafka 处理可以通过在主题中引入多个分区并让单个 Kafka 消费者按顺序从单个分区消费所有消息来并行处理，即按其序列 ID 或偏移量顺序排列的消息。这允许多个消费者同时从多个分区消费。
Akka 流具有非常顺序的方法，默认情况下它以一种一种方式进行处理。但这当然取决于您的相互关联的流程。我强烈建议阅读本文以了解 akka-stream 中如何使用线程和并发。
您的问题的答案是并行性取决于所有这些方面，而不是取决于选择正确的 akka 流“消费者”（我将其称为 akka 流术语中的源），它主要定义了对可以在处理后提交的偏移量的访问.
于 2020-05-06T07:38:21.403 回答