0

在 KDA 上运行 Flink-Beam 作业（kakfa --> flink(beam) --> ElasticSearch），简单的作业不会在 KDA 上启动并进入无限循环。AWS KDA 支持回复说，作业在启动期间读取记录，这是失败的原因。

该应用程序的 dockerized 版本在 kubernetes 中使用 3 个任务管理器运行流畅，但在 KDA 上运行不畅。由于 KDA 有 2 分钟的超时时间来启动作业。

据我了解，Flink 在工作开始后就开始读取记录，我如何将启动时间减少到 2 分钟以内，因为这项工作是非常基本的从 kafka 读取记录并存储到 ES 的工作。

4

1 回答 1

0

我解决了这个问题，基本上 Beam 默认使用直接流道。

--runner=FlinkRunner将工作设置为 flink 工作很重要。

否则，该工作处于从 kafka 主题读取的无限循环中。

于 2021-02-10T19:03:10.623 回答