阅读本文：https ://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/
我不清楚；是否可以在 ECS Fargate 上运行 MWAA 并执行作业？或者要在 Ecstatics Fargate 上执行作业，您是否需要在 ECS Fargate 上运行整个 Airflow 堆栈？
问问题
445 次
2 回答
1
我建议阅读有关 AWS MWAAs 的文档，特别是有关架构的部分，因为它应该为您提供更多背景信息。
我不清楚；是否可以在 ECS Fargate 上运行 MWAA 并执行作业？
是的。MWAA 在 Fargate 上运行其 Airflow 组件（调度程序、工作程序等），并将自动在 Fargate 容器中执行其作业。它还将扩展容器的数量以满足需求。
还有大量的 Airflow 集成，您可以使用它们将 DAG 中的任务/节点卸载到其他服务（例如ECS、Batch等）
于 2021-08-23T10:37:19.523 回答
0
它没有很好的记录，但它是可能的。我们正在使用 ECS 任务运算符和自定义图像成功运行 MWAA。
基本上你需要以下内容：
- MWAA 环境
- MWAA 执行角色，具有在 ECS 中运行任务和访问 CloudWatch 日志的附加权限
- ECS 任务定义
您还需要添加apache-airflow[amazon]MWAA 要求文件。
于 2021-08-25T09:55:00.673 回答