1

我正在尝试设置集成 S3 和 GCP 的 Pub/Sub 的 MWAA Airflow 2.0 环境。虽然我们在初始化环境方面没有问题,但我们在安装一些依赖项和导入 Python 包时遇到了问题——特别是apache-airflow-providers-google==2.2.0

我们遵循了基于官方 MWAA Python 文档的所有说明。我们已经包含了AWS 规定的约束文件,激活了所有 Airflow 日志配置,并使用MWAA 本地运行器测试了 requirements.txt 文件。更新我们的 MWAA 环境要求时的结果总是这样

在使用MWAA 本地运行器进行测试时,我们观察到使用带有约束的 requirements.txt 文件仍然需要很长时间才能解决。安装需要超过 10-30 分钟,这是不好的

作为实验,我们尝试使用忽略约束和固定版本控制的 requirements.txt 文件版本。这样做会成功安装软件包,并且我们不再在 MWAA 本地运行器和我们的 MWAA 环境本身上收到导入错误。但是,无论如何,我们所有的 dag 都将无法运行。每当我们这样做时,也无法访问气流日志

我和团队一直在尝试为我们的不同应用程序和 ETL 管道启动和运行 MWAA 环境,但我们似乎无法让事情顺利进行。任何帮助,将不胜感激!

4

1 回答 1

0

我遇到了同样的问题,最后我们不得不重构很多东西来消除依赖。如果您查看官方页面,它看起来像是 PIP 解析器和 apache-airflow-providers-google 的问题:

https://pypi.org/project/apache-airflow-providers-google/2.0.0rc1/

在最坏的情况下,您可能需要直接在 EC2 上从 docker 映像使用 Airflow 并放弃 MWAA :(

于 2021-09-30T16:10:16.823 回答