airflow - 气流中的事件监听器

Question

我的任务是监听某些事件并启动其他功能。

这个函数（监听器）订阅一个 kafka 主题并永远运行，或者至少直到它得到一个“停止”事件。

将其包装为气流操作员似乎无法正常工作。意思是，如果我发送停止事件，它不会处理它，或者其他任何事情。是否可以在气流中运行繁忙的循环功能？

Answer 1

不，不要在 Airflow 任务中运行无限循环。

Airflow 被设计为一个批处理器——长时间/无限运行的任务与其整个调度和处理模型背道而驰，虽然它可能“工作”，但它会锁定一个任务运行器插槽。