2

我已将我的 requirementst.txt 上传到一个 dag 并在创建我的气流环境时引用它。这是我的 requirements.txt 的样子：

apache-airflow==1.10.12
oauth2client==4.1.3
google-api-python-client==2.2.0
Flask-AppBuilder==2.3.3
boto3==1.17.59

但是，我在气流环境中不断收到“没有名为 oauthclient 的模块”错误。如何检查是否实际安装了 oauthclient，或者 Airflow 是否未正确读取我的 requirements.txt 文件？

提前致谢。

4

4 回答 4

2

您无需重新创建 MWAA。MWAA 使用版本化的 S3 存储桶。如果您requirements.txt不手动制作，您的版本也是版本并坚持使用旧版本，请指向最新版本。

只需进入 MWAA 页面，单击“编辑”，然后选择最新版本的requirements.txt. 然后它会更新。

于 2021-06-11T08:42:23.040 回答
0

我通过按环境重新创建解决了这个问题。看起来 AWS MWAA 只运行您的 requirements.txt 一次，因此您在创建环境后所做的任何更新都不会应用。

于 2021-05-05T16:30:23.100 回答
0

mwaa 应该再次读取 requirements.txt，如果您通过控制台编辑 mwaa 配置并按保存或从 cli，运行：aws mwaa update-environment --name <environment name>

于 2021-11-23T21:05:13.197 回答
0

更新 MWAA 中的要求并不简单：

  • 一旦更改了需求文本，您必须再次重建环境
  • 在您执行此操作之前，请仔细检查以确保您在环境创建页面中选择了正确版本的需求 .txt 文件。
  • 大多数时候 .txt 文件的版本是旧版本，您必须手动选择最新版本！
  • 只需编辑和更新现有环境即可安装旧版本的 requirements.txt 文件！
于 2021-12-02T13:59:47.327 回答