问题标签 [mwaa]

在 AWS 控制台中，我执行了以下操作：

1. 创建了一个 S3 存储桶和密钥：s3://my-airflow和s3://my-airflow/dags
2. 设置气流环境。
3. 如此处所述创建并附加了服务角色：https ://docs.aws.amazon.com/mwaa/latest/userguide/mwaa-create-role.html
4. 附加了一个策略以允许我的用户生成这样的令牌：

5. 然后使用 cli 我请求这样的令牌：

它工作并返回了一个 webToken 6。然后我按照建议将 ui 链接拼凑在一起（在 60 秒内）：

并将其粘贴到我的浏览器中。

问题：页面只是旋转，超时，什么都没有。

AWS，秘诀是什么？

我正在尝试按以下方式在 AWS Airflow Managed Service 的 DAG 中使用 PostgresHook：

使用此服务的 Airflow 版本是 1.10.12，但是当我上传此 DAG 时，Airflow UI 向我显示“Broken DAG: No module named 'psycopg2'”错误。

我有使用这些模块定义的 requirements.txt 文件，但似乎没有一个工作：

有谁知道是否有解决此问题的方法？AWS 论坛页面中没有太多关于此的信息。

我正在尝试使用 Airflow 在 AWS EMR 上运行 11 步，并遵循此代码作为参考。由于使用 EmrAddStepsOperator 和 EmrStepSensor 进行 11 步会重复太多。所以我试图遍历它。我在我的 DAG 中使用了以下代码。

我在这里遇到一个错误，EmrStepSensor 期望来自 EMR 的 step_id 在这里输入，并且是从 xcom 获取的生成的（我猜，我不是 100% 确定这段代码是如何工作的）。但是我的步骤存储在步骤列表中，因此我无法在 step_id 的 task_id 中给出静态值，就像在参考代码中给出的那样，我无法弄清楚如何使用带有 python 变量值的 jinja 模板将值放在这里从步骤列表中。

我使用了以下两种方式，以便 step_id 可以根据 steps[i] 中的步骤名称从 EMR 中获取正确的步骤

然而，这两个都失败了，在 Airflow 中出现语法错误。因此，如果有人能指出我这样做的正确方向，我将不胜感激。我正在使用 Airflow 1.10.12（这是 AWS 上托管 Apache Airflow 中 Airflow 的默认版本）。

我正在尝试将 Amazon Managed Workflows 用于 Apache Airflow。我看到由于与 IAM 的集成，只有授权的 IAM 用户才能登录到您的 Airflow UI。
有什么方法可以限制用户访问 Airflow（MWAA）中的特定 DAG？如果是，如何为此编写 IAM 策略？

我如何配置气流（mwaa），以便在部署 dag 时每天同时（太平洋标准时间早上 6 点）触发？

我尝试了对我有意义的方法：

1. 将 schedule_interval 设置为0 6 * * *.
2. 将开始日期设置为：

似乎每当我通过将 start_date 设置为前一天早上 5 点进行部署时，无论我什么时候部署 dag 或进行气流更新，它总是会在下一个早上 6 点触发

我们的数据管道设置目前使用在 EC2 实例上运行的 Docker 容器和 Apache Airflow 作为编排工具。我们正在尝试迁移到 MWAA，以获得与托管服务相关的优势（可扩展性、维护、调度程序监控等......）。我的问题是将 Docker 与 MWAA 集成的最佳方式是什么？目前我们通过 Airflow 上的 DockerOperator 运行我们的服务/应用程序。我们是否需要让 Docker 在 MWAA 环境中运行？任何建议，将不胜感激。

使用 AWS 文档数据库和 AWS 托管工作流进行多租户的最佳实践是什么？

1. 具有 vpc 对等互连的不同 VPC：

使用基于角色的访问控制为多个租户和单独的租户创建一个集群是否更好？那么文档数据库集群将在 vpc A 中创建，托管工作流将在不同的 vpc B 中创建，那么通信将通过 vpc peering 进行吗？

如果是这样，我可以在同一个 vpc 中创建多托管工作流环境，还是每个托管工作流环境都应该有自己的 vpc？（多租户）

2. 相同的 VPC：

还是在同一个 vpc 上为每个租户创建 AWS DocumentDB 集群和 AWS 托管工作流更好？

我正在通过 Apache Airflow托管工作流(MWAA)在 AWS 上运行Apache Airflow进行测试。AWS 为我部署和管理的 Airflow 版本是1.10.12。

当我尝试访问 v1 REST API 时，/api/experimental/test我得到了状态代码403 Forbidden。

是否可以在 MWAA 中启用实验性 API？如何？

我尝试将requirements.txt放入MWAA Airflowwithpyodbc=4.0.30和代码中，使连接字符串像

现在的错误是Broken DAG: [/usr/local/airflow/dags/test.py] No module named 'pyodbc'

气流版本：1.10.12

几乎没有任何关于SQL Server/ Postgres基于文档的连接的MWAA AWS文档，特别是对于pyodbc连接，我之前遇到了这个问题并用 解决了这个问题lambda functions，lambda layers但不确定如何MWAA工作，任何建议表示赞赏。

请不要推荐任何其他技术，如 EC2 来托管 Airflow，因为该公司非常严格地使用 MWAA Airflow。

我正在考虑将 Airflow 从 ECS 转移到 MWAA，这显然效果很好。但从 CICD 的角度来看，加载连接有一些限制。根据文档，我们无法根据他们在此处所说的内容使用命令行设置连接：https ://docs.aws.amazon.com/mwaa/latest/userguide/access-airflow-ui.html#call-mwaa-apis-cli

我知道我们可以使用 UI 来做到这一点，但这不是本意。有谁知道如何处理这个问题，或者是否有任何方法可以自动处理？

非常感谢哈维