airflow - 来自cli的气流传递参数

Question

有没有办法将参数传递给：

airflow trigger_dag dag_name {param}

?

我有一个监视文件目录的脚本 - 当文件移动到目标目录时，我想触发作为参数传递文件路径的 dag。

Answer 1

你可以像这样传递它：

airflow trigger_dag --conf {"file_variable": "/path/to/file"} dag_id

然后在您的 dag 中，您可以使用以下模板访问此变量：

{{ dag_run.conf.file_variable }}

如果这不起作用，分享一个简单版本的 dag 可能有助于获得更好的答案。

Answer 2

是的你可以。你的 Dag 应该有一个 Dag 和一个 Bask 任务，如下所示：

from airflow.operators.bash_operators import BashOperator

args = {'start_date':datetime.now(),
        'owner':'airflow',}
dag = DAG(
      dag_id='param_dag', 
      default_args=args,
      schedule_interval=None)

bash_task=BashOperator(
     task_id="bash_task" 
     bash_command= 'bash ~/path/bashscript.sh {{ dag_run.conf["parameter"] if dag_run else "" }} ', 
    //bashscript your script you want to run and the dag_run.conf will hold the parameter you want to pass
     dag=dag)

现在在你的命令行上输入命令：

 airflow trigger_dag dag_id --conf '{"parameter":"~/path" }'