2

是否可以在运行 python 脚本的 kubernetes 运算符中导入气流在代码中提供的挂钩(雪花挂钩、aws 挂钩等)?我可能对如何使用气流有错误的想法。

例子。我让 Airflow 与 kubernetes 集群一起运行。dag 的任务在容器内。一项任务从 SQL 中获取一些数据并将其上传到 S3。如果我想在容器内的 python 脚本中执行此操作,我需要对所有这些东西进行编码(可能会出现错误并花费时间),如果我可以重用气流在代码中具有的库(挂钩),我可以节省时间,而且,很多开发人员都支持我。

谢谢

4

0 回答 0