airflow - AWS MWAA（托管 Apache Airflow）将 dags 中使用的 python 代码放在哪里？

Question

你把你的实际代码放在哪里？dags 必须很薄，这假设当任务开始运行时它会执行导入，并运行一些 python 代码。

当我们在独立气流上时，我可以将我的项目根目录添加到 PYTHON_PATH 并从那里进行导入，但在 AWS 管理的气流中我找不到任何线索。

score 0 · Accepted Answer

将 DAG 放入 S3。初始化 MWAA 环境后，您将确定包含您的代码的 S3 存储桶。

例如，创建一个存储桶<my-dag-bucket>并将 DAG 放在子文件夹中dags

s3://<my-dag-bucket>/dags/

还要确保在需求文件中定义所有 python 依赖项并将其放在同一个桶中：

s3://<my-dag-bucket>/requirements.txt

最后，如果您需要提供自己的模块，请将它们压缩并将 zip 文件也放入存储桶中：

s3://<my-dag-bucket>/plugins.zip

1 回答 1