问题标签 [mwaa]

我在 AWS MWAA 中运行 Airflow，我想访问 REST API，有两种方法可以做到这一点，但似乎对我不起作用。

1. 覆盖 api.auth_backend。这曾经有效，现在 AWS MWAA 不允许您添加它，它被视为“阻止列表”并且不允许。
   api.auth_backend = 气流.api.auth.backend.default

2. 使用 MWAA Cli(Python)。如果任何 DAG 使用位于 request.txt 文件中的包，这将不起作用。
   一个。例如，我在 requirements.txt 中有“paramiko”，因为我有一个使用 SSHOperator 的任务。MWAA Cli 因“无模块 paramiko”而失败

   湾。此处还指出​​，https ://docs.aws.amazon.com/mwaa/latest/userguide/access-airflow-ui.html “如果 DAG 使用插件，任何解析 DAG 的命令（例如 list_dags、回填）都将失败这取决于通过 requirements.txt 安装的软件包。”

我们使用 Amazon MWAA Airflow，很少有标记为“FAILED”的任务，但根本没有日志。好像容器在没有注意到我们的情况下被关闭了。

我找到了这个链接： https : //cloud.google.com/composer/docs/how-to/using/troubleshooting-dags#task_fails_without_emitting_logs 机器上的OOM对此进行了解释。但是我们的任务几乎没有使用 CPU 和 RAM。他们只对 AWS API 进行 1 次 HTTP 调用。所以很轻。

在 Cloudwatch 上，我可以看到没有其他任务在同一个容器上启动（DAG 运行通过打印容器 IP 开始，所以我可以在所有任务上搜索这个 IP）。

如果有人有想法，那就太好了，谢谢！

我知道在 Linux、ubuntu、docker 等中使用默认的 Apache Airflow 时可以更改 XCom 后端。但是，如果可以使用 MWAA，我会特别关注。

是否可以为 Apache Airflow (MWAA) 设置 Amazon Managed Workflows 以将 XCom 后端更改为使用 S3？如果可能，我该怎么做？

我已将我的 requirementst.txt 上传到一个 dag 并在创建我的气流环境时引用它。这是我的 requirements.txt 的样子：

但是，我在气流环境中不断收到“没有名为 oauthclient 的模块”错误。如何检查是否实际安装了 oauthclient，或者 Airflow 是否未正确读取我的 requirements.txt 文件？

提前致谢。

我们的团队正在使用 MWAA 的 3 个环境，在 Web UI 或 URL 中显示环境名称非常重要。我尝试添加一个 menulink 插件来显示名称，但插件没有显示（按照这个例子：https ://airflow.apache.org/docs/apache-airflow/1.10.12/plugins.html#example ）。正如我们的 devops 团队所建议的那样，由于某些证书问题，无法使用路由 53。

是否有其他方法可以显示环境名称或修改 Web UI？

我正在尝试新的 Amazon MWAA 服务，我的 dag ssh 进入 ec2 实例并运行一个 shell 脚本。我不确定如何在 Amazon MWAA 环境和 ec2 实例之间建立 ssh 连接。

目前在我们的生产中，prod airflow env 的 ssh 密钥存储在远程 ec2 实例的授权密钥目录下。当 DAG 运行时，脚本会在气流中创建 ssh 连接并执行脚本。

如何在 Amazon MWAA 环境中创建 ssh 连接？

我目前正在尝试通过 MWAA 设置 Airflow 环境。我已经完成了两次创建环境步骤，两次都在列出 Airflow 环境的页面结束，并带有横幅说我成功了。然而，在过去的 2 天里，这个环境页面刚刚显示Loading Environments，如下所示。我还看到环境编号的 (0)。

到目前为止，我已经为 API 和环境添加了 ECR 和 VPC 的 2 个接口，但没有运气。有没有其他人遇到过这个问题或有任何线索可能会发生什么？谢谢！

在 MWAA 中，我使用以下代码访问 S3 存储桶中的文件。S3 存储桶的形式如下：

上面的命令工作正常。现在我试图S3_hook.S3Hook()从 Airflow 的电话中获取相同的信息。我有以下代码：

这导致来自 boto3 的错误：

我可以理解错误即将到来，因为 boto3 正在尝试进行一些参数验证并且正则表达式过于严格。

我如何在 Airflow 中处理这种情况？有什么办法可以禁用参数验证？我可以看到可以通过一些配置设置在 boto3 中设置“parameter_validation” ，但是当使用已经以默认方式设置且无法接受 boto3 配置False的 in Airflow 时，我该怎么做？S3Hook()更复杂的是，我必须在 MWAA 上执行此操作，这不会让您对~/.boto/文件夹进行任何控制。

雪花未显示在连接下拉列表中。我正在使用 MWAA 2.0 并且提供者已经在 requirements.txt 中 MWAA 使用 python 3.7 不知道这是否可以

Requirements.txt:
--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.0.2/constraints-3.7.txt"
asn1crypto
azure-common
azure-core
azure-storage-blob
boto3
botocore
certifi
cffi
chardet
密码学
greenlet
idna
isodate
jmespath
msrest
numpy
oauthlib
oscrypto
pandas
pyarrow
pycparser
pycryptodomex
PyJWT
pyOpenSSL
python-dateutil
pytz
requests
requests-oauthlib
s3transfer
六
urllib3
apache-airflow-providers-http
apache-airflow-providers-snowflake
#apache-airflow-providers-snowflake[slack]
#apache-airflow-providers-slack
snowflake-connector-python >=2.4.1
snowflake-sqlalchemy >=1.1 .0 \

出于某种原因，我在从气流 postgres 包导入时遇到问题。有任何想法吗？

错误：

模块：

Requirement.txt 包含包的文件：