0

阅读本文:https ://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

我不清楚;是否可以在 ECS Fargate 上运行 MWAA 并执行作业?或者要在 Ecstatics Fargate 上执行作业,您是否需要在 ECS Fargate 上运行整个 Airflow 堆栈?

4

2 回答 2

1

我建议阅读有关 AWS MWAAs 的文档,特别是有关架构的部分,因为它应该为您提供更多背景信息。

我不清楚;是否可以在 ECS Fargate 上运行 MWAA 并执行作业?

是的。MWAA 在 Fargate 上运行其 Airflow 组件(调度程序、工作程序等),并将自动在 Fargate 容器中执行其作业。它还将扩展容器的数量以满足需求。

还有大量的 Airflow 集成,您可以使用它们将 DAG 中的任务/节点卸载到其他服务(例如ECSBatch等)

于 2021-08-23T10:37:19.523 回答
0

它没有很好的记录,但它是可能的。我们正在使用 ECS 任务运算符和自定义图像成功运行 MWAA。

基本上你需要以下内容:

  • MWAA 环境
  • MWAA 执行角色,具有在 ECS 中运行任务访问 CloudWatch 日志的附加权限
  • ECS 任务定义

您还需要添加apache-airflow[amazon]MWAA 要求文件。

于 2021-08-25T09:55:00.673 回答