java - 基于 Kinesis 客户端库 (KCL) 的应用程序中的负载平衡和扩展

Question

我正在使用amazon-kinesis-connectors构建 kinesis 客户端应用程序。我正在弄清楚一些关于它的事情。

KCL 如何确保负载平衡和扩展。例如，我有一个带有一个分片的流，并且很多记录/事件在一整天或特定时间内放置了 15 分钟。那么它将如何处理这种突然的流量和负载。

Answer 1

对于负载平衡，您需要多个分片。Kinesis 试图平衡每个工人承担的分片数量 - 如果您只有一个分片，您将不会从多个工人那里获得任何好处。有关Kinesis 负载平衡如何工作的更多信息，请参阅我的相关答案。

至于缩放——每个分片都有一个最大流量限制——来自kinesis 限制文档：

每个分片每秒最多可支持 1,000 条记录进行写入，最大总数据写入速率为每秒 1 MB

使用 kinesis 进行扩展的方式是添加更多分片 - 更多分片 == 更多吞吐量。您可以预先创建这些分片，也可以在流量增加时添加它们。