我们正处于开发阶段。所以我们使用的是由 2 个 EC2 实例组成的 AWS ECS 集群。我们正在使用 Airflow 的 ECSOperator 向 ECS 集群提交任务。我们正在寻求扩展这个过程。所以我们将使用 Airflow 的 Celeryexecutor,它用于在 Airflow 上并发提交和调度任务。
所以问题是,我们应该关心提交给 ECS 的任务数量,还是不管提交给 ECS 的任务数量,它会通过任何内部排队机制为所有任务提供服务而不会失败?
我们正处于开发阶段。所以我们使用的是由 2 个 EC2 实例组成的 AWS ECS 集群。我们正在使用 Airflow 的 ECSOperator 向 ECS 集群提交任务。我们正在寻求扩展这个过程。所以我们将使用 Airflow 的 Celeryexecutor,它用于在 Airflow 上并发提交和调度任务。
所以问题是,我们应该关心提交给 ECS 的任务数量,还是不管提交给 ECS 的任务数量,它会通过任何内部排队机制为所有任务提供服务而不会失败?