0

我目前在 Confluent 云上使用基本版本的集群,我只有一个主题有 9 个分区。我有一个使用 AWS lambda 服务设置的 REST Api,该服务将消息发布到 Kafka。目前我正在以每秒 5k-10k 的请求进行压力测试管道,我发现延迟达到 20-30 秒才能发布大小为 1kb 的记录。单个请求通常为 300 毫秒。我将 linger.ms - 500 ms 和 batch.size 等生产者配置添加到 100kb。我看到了一些改进(每个请求 15-20 秒),但我觉得它仍然太高了。有什么我遗漏的东西,还是融合云上的基本集群有什么东西?集群上的所有配置都是默认的。

4

1 回答 1

1

确定问题出在 API 请求受到限制。正如 Chris Chen 所提到的,由于 AWS SDK 的指数回退策略,平均时间正在飙升。请求 AWS 增加并发执行。我相信它应该可以解决问题。

于 2021-06-09T05:52:14.567 回答