airflow - 如何获得上一份工作的结束时间

Question

我有一个每隔几分钟安排一次的任务。

我想在以前成功执行的任务停止的地方实现新任务开始的逻辑。

更具体地说，我使用这个时间间隔来查询数据库，所以我不会错过执行之间的一些数据。

如何做到这一点？

Answer 1

查看有关宏的文档。您可以看到您有两个可以在 sql 文件中使用的变量：{{ execution_date }}并且{{ next_execution_date }}- 您应该使用这些变量来查询数据库的时间间隔，例如：

select * 
from 
  table
where
  timestamp_column >= {{ execution_date }} 
  and timestamp_column < {{ next_execution_date }}