python-3.x - 顶级python代码和气流中的运算符变量之间的通信

Question

我正在编写气流代码，我正在运行一个 python 运算符来读取从 cli 给出的用户输入，并希望在顶级 python 代码中使用该运算符的结果返回来生成动态任务。使用 Xcom 我们可以执行任务间通信，但我们如何在任务和主代码之间进行通信。

Answer 1

这是不可能的（我相信您在 Airlfow Slack 中多次从我这里得到这个答案）。

任务执行不会影响 Airflow 的 DAG 结构。句号。

我们正在部分实现动态任务映射以实现映射/减少类型的行为https://cwiki.apache.org/confluence/display/AIRFLOW/AIP-42+Dynamic+Task+Mapping 但这不会改变结构DAG 或不改变 DAG 结构 - 它只是使单个任务能够扇出然后扇入多个任务。