spring-cloud-task - 从流中一次启动一个任务

Question

我正在使用 File Source 流组件从目录中读取文件并将 File 实例发送到自定义处理器，该处理器读取文件并使用 TaskLauncher 接收器启动特定任务。如果我在目录中放置 5 个文件，则会同时启动 5 个任务。我想要实现的是让每个任务一个接一个地执行，所以我需要监视任务的状态以确保在启动另一个任务之前之前的任务已经完成。我有哪些实施方案？作为旁注，我在 Yarn 集群上运行它。

谢谢，

-坦率

Answer 1

我认为由 YARN TaskLauncher 启动的异步任务可能是让所有任务看起来像是同时启动的原因。您可以尝试的一种可能方法是拥有一个custom任务启动器sink，launches该任务和waits任务状态completed在它开始处理下一个触发请求之前处于该状态。