我目前正在尝试使用 apache 气流和造纸厂执行 jupyter 笔记本。
为了使用我的自定义环境和自定义用户内核,我正在使用 BashOperator 并以这种格式运行命令
runuser {user} -c 'papermill {input_notebook_path} {output_notebook_path} -k {kernel_name}'
这是尝试执行后 Dag 日志的样子: Dag 日志
我一直无法使用 python 或 papermill 运算符,因为笔记本使用的内核/环境没有全局安装。
有任何想法吗?