我正在尝试设置集成 S3 和 GCP 的 Pub/Sub 的 MWAA Airflow 2.0 环境。虽然我们在初始化环境方面没有问题,但我们在安装一些依赖项和导入 Python 包时遇到了问题——特别是apache-airflow-providers-google==2.2.0。
我们遵循了基于官方 MWAA Python 文档的所有说明。我们已经包含了AWS 规定的约束文件,激活了所有 Airflow 日志配置,并使用MWAA 本地运行器测试了 requirements.txt 文件。更新我们的 MWAA 环境要求时的结果总是这样
在使用MWAA 本地运行器进行测试时,我们观察到使用带有约束的 requirements.txt 文件仍然需要很长时间才能解决。安装需要超过 10-30 分钟,这是不好的。
作为实验,我们尝试使用忽略约束和固定版本控制的 requirements.txt 文件版本。这样做会成功安装软件包,并且我们不再在 MWAA 本地运行器和我们的 MWAA 环境本身上收到导入错误。但是,无论如何,我们所有的 dag 都将无法运行。每当我们这样做时,也无法访问气流日志。
我和团队一直在尝试为我们的不同应用程序和 ETL 管道启动和运行 MWAA 环境,但我们似乎无法让事情顺利进行。任何帮助,将不胜感激!