3

AWS MWAA（Apache Airflow 托管工作流）是 AWS 提供的相对较新的服务。配置 MWAA 环境时，可以提供自定义requirements.txt文件，用于在该环境中安装额外的 Python 包。

在我工作的公司中，我们将AWS CodeArtifact用于自定义 PyPi 包存储库，我们在其中上传私有 Python 包。我们想在 Airflow DAG 中使用其中的一些。这就是为什么我想知道是否可以以某种方式配置 MWAA 环境以使用 CodeArtifact 中的 PyPi 存储库？

或者有什么方法可以在 MWAA 环境中安装自定义 Python 包（不在公共 PyPi 中）？

4

1 回答 1

1

没有尝试但应该可以工作：

# aws codeartifact login --tool pip --domain **--repository **
# awk '/index-url/ {print "-i "$3}' ~/.config/pip/pip.conf  > requirements.txt
# echo <my python package> >> requirements.txt

它可以用作正常的需求文件：

# pip3 install -r requirements.txt 
Looking in indexes: https://aws:****

请注意 CodeArtifact 令牌最多在 12 小时内过期。您可以创建一个循环作业来重新生成此文件...

于 2021-04-06T11:46:45.280 回答