2

这是关于 Flink 1.5 中的动态缩放

我正在使用 Yarn 来运行 Flink 作业。我从静态资源开始这些工作。是否有任何选项可以在特定条件下自行扩展这些工作，例如是否存在内存问题。

在 Flink 1.5 发行说明中-

Applications can be rescaled without manually triggering a savepoint. Under the hood, Flink will still take a savepoint, stop the application, and rescale it to the new parallelism.

这意味着我必须监控我的作业内存并且必须手动触发重新调整。这些是否有任何解决方法来处理这个问题。

4

2 回答 2

3

从 1.5 开始，Flink 不支持你想要的。重新调整作业的过程是：

  1. 使用 parallelisminitialParallelism和 maxParallelism开始工作maxParallelism。
  2. 手动停止它。
  3. 重新运行它initialParallelism <= parallelism <= maxParallelism。
于 2018-07-09T20:48:34.330 回答
3

您仍然需要监控您的应用程序，但可以通过运行以下命令轻松完成重新缩放：

./bin/flink modify -p <NEW-PARALLELISM>
于 2018-07-10T10:37:59.980 回答