celery - 具有时间限制和触发的 Apache Airflow 调度

Question

我正在使用带有 celery Executor 的气流。现在我计划为一项任务开发用户交互，以决定在 DAG 中使用 BranchOperator 选择分支。它通过运行连续循环来检查数据库中的值来工作。但我觉得这不是一个好的方法。有没有其他方法可以做到这一点？

我想等待这种交互直到特定时间，否则我想停止。有可能在气流中做到这一点吗？如果可能的话，是否有可能动态改变这个时间限制？

先感谢您。

Answer 1

您不应该为此使用 BranchOperator。如果您想根据数据库中的某些值继续您的 dag，您应该使用传感器。气流中有一些现成的传感器，您也可以查看其中一些来创建自己的传感器。传感器基本上轮询特定标准并在可配置的时间段后超时。从您的问题看来，这正是您所需要的。