airflow - 每小时运行任务的apache气流外部任务传感器

Question

在 apache 气流中，可以将外部任务传感器添加到日常工作中每小时运行的工作中。

我们有一个场景，在日常工作中，我们需要一些由日常工作更新的列。

但有时在 23:00 运行的每小时作业在每日作业开始之前并未完成。

在这种情况下，我们错过了按小时工作所做的一些更新。

我们可以从日常工作中添加对每小时工作的依赖吗？

Answer 1

您可以在每小时 DAG 结束时创建一个文件（即 SUCCESS）（删除 SUCCESS 作为此 dag 的第一个任务），并在您的日常工作中添加一个文件传感器任务。

在这种情况下，只要你的每小时任务在运行，你的日常工作就无法执行。