airflow - 气流可以用来运行永无止境的任务吗？

Question

我们可以通过将 task/dag 超时设置为 None 并手动触发其运行来使用气流 dag 来定义永无止境的作业（即具有无条件循环来消耗流数据的任务）吗？让气流监测器永无止境的任务会导致问题吗？谢谢

Answer 1

通过 Airflow 运行它有点奇怪，但是是的，我认为这不是问题。请注意，如果您重新启动运行作业的工作人员（假设为 CeleryExecutor），您将中断任务，如果retries未设置，则需要再次手动启动它。还要确保 DAG 集execution_timeout=None（默认）。

Answer 2

您可以使用一个传感器来监控“数据是否存在”，然后触发一个 dag 进行一些处理。这是你想要的吗？请告诉我。