akka-stream - 并行使用 Akka Streams Kafka Producer

Question

我想并行化对 kafka 的写入，即有多个生产者向 kafka 发送数据，尽管是在 akka 流中。在其他情况下，我的流将有几个来自源的初始阶段，然后在发送数据时，我希望有大约 16 个工作人员同时发送数据。

我想知道是否需要将 Akka Streams Kafka 嵌入到 akka-stream Graph DSL 中并为此使用平衡器，或者是否有更简单的解决方案。此外，简单地说，如果有人做了类似的事情，那会很棒。

Answer 1

Akka Streams Kafka（又名 Reactive Kafka）具有生产者并行性的特定设置（请参阅文档）

akka.kafka.producer {
  # Tuning parameter of how many sends that can run in parallel.
  parallelism = 100

  ...
}

您是否尝试过调整它来解决您的问题？