0

我想在同一个 Java 进程中使用 KCL 处理多个 Kinesis 流。

这个想法很简单：为每个流创建一个新的 KCL 实例，然后同时运行工作程序。

我的问题是在这种情况下是否所有 KCL 实例都使用相同的线程池，以及在处理流处理时这个想法是否是一种好的/常见的做法。

谢谢

4

1 回答 1

1

当然，您可以这样做 - 只需启动多个 KCL Worker实例，每个实例都指向不同的流（具有自己的配置等）。每个 Worker 实例应该独立于其他 Worker 管理自己的 ShardConsumer 线程。

但是，更常见/推荐的做法是让每个 Worker 在自己的进程中运行 - 这提供了更多的划分，这将改善：

  1. 失败案例 - 防止一次失败影响所有工人
  2. 部署/更新 - 更好地控制一次更新的工人数量
  3. 硬件管理 - 每个进程一个 Worker 更容易分布在多个小型主机上，尤其是当您的处理需求增长时
  4. 开发复杂性 - 虽然 KCL 在一个进程中支持多个 Worker，但将每个 Worker 开发为自己的进程要容易得多
于 2019-02-14T01:46:17.257 回答