我们在 Google Composer 1.7.5 中使用托管的 Airflow 1.10.2 通过KubernetesPodOperator
(将在工作集群内的 Kubernetes pod 中运行的任务)启动作业
有好几次 Kubernetes pod 本身成功完成,但是 Airflow 没有“看到” pod 已经完成(它没有得到备忘录),所以 Airflow认为pod 仍在运行并且没有移动进入下一个任务。
我们计划使用 Airflow 2.1.4 迁移到 Composer 2,我相当有信心它可以更好地管理 pod 和与 Kubernetes 的通信,但是......
...我们可以做一个“快速”的调整吗?即使是关于如何开始调查的链接也会有所帮助。
先感谢您。