问题标签 [mwaa]

我们有一个 Airflow（Celery 执行器）设置，可以在我们的 K8s 集群上运行任务。使用 KubernetesPodOperator 的任务可以访问 K8s 机密，如文档中所述。其余任务在 K8s 集群之外的 Celery 工作人员上运行。

使用其他运算符（例如 SqlSensor）的任务如何访问与使用 KubernetesPodOperator 的任务相同的 K8s 机密？

所以，我们可以从这个有趣的问题中看出：https ://github.com/aws/aws-cli/issues/4947

AWS CLI 2 永远不会被推送到 pip。

在 AWS MWAA（托管 AIrflow）中，我们无法指定 apt-get 级别的安装。我们requirements.txt只得到一个，AWS V2 不能通过它获得。意思是，我们没有接口或媒介来执行该问题中亚马逊代表所说的，即使用包管理器（来自亚马逊的 MWAA）。

最近，我们遇到了对我们的 kubernetes 集群进行身份验证的问题，因为各种版本中的 AWS CLI对身份验证版本进行了硬编码：https ://github.com/aws/aws-cli/blob/1.20.11/awscli/customizations/eks /get_token.py#L77

在其他版本中，它被硬编码为alphaetc。这意味着根据工作人员提供的 aws cli 版本，它可能与您在 S3 for MWAA 中的 kubeconfig 匹配也可能不匹配。我们一直在遇到短暂的不匹配，例如

而且，如果我们“翻转”我们的 kubeconfig，

由于我们使用 Airflow 的 kubernetes 执行器，我们需要get-token：

但是这个 get-token 有时会返回不同版本的身份验证，如讨论的那样。

目前，我们已经固定awscli在. 但是，AWS 说停止使用 V1：https ://docs.aws.amazon.com/cli/latest/userguide/install-cliv2-mac.htmlrequirements.txt1.20.11

那么，综上所述，如何在我的 AWS MWAA 工作人员上安装特定版本的 AWS CLI 2？亚马逊的帮助将不胜感激；我也会在那里提交 AWS Support 票证。

使用 AWS MWAA 我正在尝试运行任务。有时，可能在 5% 的任务中，这些任务会失败，没有日志，也没有证据表明它曾经向工作人员提交过。（编辑：注意到同时发送两个任务时会发生这种情况）

在检查调度程序日志时，我发现 boto（我不在 DAG 中使用）引发了以下 Celery 错误：

检查这篇文章似乎调度程序共享 boto 会话可能存在一些问题？有人对如何解决这个问题有任何提示吗？

可能这个帖子和这个帖子都是相关的

我在我的 MWAA 环境中更新了一些 Airflow 配置选项，并且在过去三个小时内它一直处于“更新”状态！

有人知道如何强制删除该环境吗？使用 AWS MWAA 控制台上的“删除”按钮只会导致“具有更新状态的环境必须在启动新操作之前完成先前的操作”消息。

我正在尝试使用 MWAA（来自 AWS 的托管 Airflow）运行气流作业以在 Snowflake 实例上执行一些 SQL 操作。在 MWAA 中设置 Airflow 时，它会要求 DAG、插件和要求。有什么方法可以包含自定义 sql 脚本？

以下是我尝试过的示例：

我打算在create_staging.sql 中运行sql 命令。为此，我已将 sql 脚本“create_staging.sql”上传到 s3 中名为 include 的文件夹，然后在 DAG 声明中通过 template_searchpath 引用它。看起来它的不是气流没有导入 s3 的所有内容。它似乎没有找到该文件。通过 MWAA 运行气流时，是否有任何其他方法可以包含相关脚本。

我正在控制台中创建 Apache 气流。

状态：创建失败

最后更新：错误代码：INCORRECT_CONFIGURATION

消息：您可能需要检查您的环境的执行角色权限策略，并且环境所需的每个 VPC 网络组件都配置为允许流量。疑难解答：https ://docs.aws.amazon.com/mwaa/latest/userguide/troubleshooting.html

我已经阅读了网络配置，在我的默认 VPC 中创建了两个私有子网，创建了 NAT 网关并将 NAT 网关路由添加到私有子网路由表？我还缺少什么？

我在将 Docker-compose 配置为 PyCharm 中的远程解释器时遇到问题。在“服务”部分中，我只能选择“服务”或“网络”。

我正在使用这个 docker-compose 文件：https ://raw.githubusercontent.com/aws/aws-mwaa-local-runner/main/docker/docker-compose-local.yml

你把你的实际代码放在哪里？dags 必须很薄，这假设当任务开始运行时它会执行导入，并运行一些 python 代码。

当我们在独立气流上时，我可以将我的项目根目录添加到 PYTHON_PATH 并从那里进行导入，但在 AWS 管理的气流中我找不到任何线索。

阅读本文：https ://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

我不清楚；是否可以在 ECS Fargate 上运行 MWAA 并执行作业？或者要在 Ecstatics Fargate 上执行作业，您是否需要在 ECS Fargate 上运行整个 Airflow 堆栈？

我在 apache 管理的气流工作流环境中创建 DAG。DAG 基本上使用 EMR 算子，它创建 EMR 集群，运行 DAG 中定义的 spark 作业并删除 EMR 集群。我从气流网站获取了代码。这是代码的链接-https://airflow.apache.org/docs/apache-airflow-providers-amazon/stable/_modules/airflow/providers/amazon/aws/example_dags/example_emr_job_flow_manual_steps.html

错误消息：[正在创建 EMR 集群，但显示如下，错误是否与气流有关]

我的气流环境类：mw1.small