我正在尝试使用气流中队列的概念将气流任务路由到特定集群。我们的生产环境有四个集群,P1S1、P2S2 等。如果我从 P1S1 集群启动我的 DAG,我希望我的 DAG 及其操作符在 P1S1 上执行。我最初的想法是在 P1S1、P1S2 等上建立一组气流工作程序,监听各自的队列,然后有 4 个 DAG,它们都是相同的,但在它们的操作符中具有不同的队列字段,如 P1S1_dag.py、P1S2_dag.py等。我可以使用其他方法来实现这种功能吗?
我正在尝试使用气流中队列的概念将气流任务路由到特定集群。我们的生产环境有四个集群,P1S1、P2S2 等。如果我从 P1S1 集群启动我的 DAG,我希望我的 DAG 及其操作符在 P1S1 上执行。我最初的想法是在 P1S1、P1S2 等上建立一组气流工作程序,监听各自的队列,然后有 4 个 DAG,它们都是相同的,但在它们的操作符中具有不同的队列字段,如 P1S1_dag.py、P1S2_dag.py等。我可以使用其他方法来实现这种功能吗?