airflow - 如何为气流 DAG 任务（或 python 代码）安装依赖模块？, 使用 kuberentesExecutor 时气流 DAG 中的“导入模块失败”

Question

我有一个气流 DAG“example_ml.py”，它有一个任务“train_ml_model”，这个任务正在调用/运行一个 python 脚本“training.py”。

-Dags/example_ml.py -Dags/training.py

当我运行 Dag 时，它无法导入执行训练脚本所需的模块。

DAG 任务的代码片段：

   train_model = PythonOperator(
        task_id='train_model',
        python_callable=training,
        dag = dag
    )

PS：我使用的是k8s集群。Airflow在k8s集群中运行，executor设置为kubernetesExecutor。因此，当每个 DAG 被触发时，都会分配一个新的 pod 来完成任务。

score 0 · Accepted Answer

你能提供更多细节吗？您是否在本地计算机上运行此程序？一个容器？你确定这个包已经安装了吗？正如您评论的那样，该错误似乎与缺少包有关。创建要安装的任务可能无法解决问题。理想的情况是在您运行的任何气流上安装要求

score 0 · Accepted Answer

我有同样的问题，这就是我解决它的方法：

运行以下python代码

>>> import sys
>>> from pprint import pprint
>>> pprint(sys.path)

我得到了这些路径

 '/home/.local/lib/python3.6/site-packages',
 '/usr/local/lib/python3.6/dist-packages',
 '/usr/lib/python3/dist-packages'

对我来说气流列在下面

'/usr/local/lib/python3.6/dist-packages'

因此，要找到该软件包，必须将其安装在此处。我使用这个命令来安装我的包：

sudo python3 -m pip install -system [package-name] -t $(pwd)

2 回答 2