3

我正在使用 Cloud composer 来编排我的气流实例,但不确定如何为气流工作者 bash 安装软件包。

以前我使用 docker 在 google 计算引擎实例上运行气流,通过 docker make 文件很容易指定要求。

作为一个刚接触 kubernetes 和 Cloud composer 的人,我想知道是否可以为 kubernetes/Cloud composer 做一些类似的事情,就像我之前为 docker 做的那样?

我希望lzop为 unix 安装,并且还需要使用 s3 凭据更新 gsutil boto 配置文件。

如何将新的 docker 镜像拉入 Kubernetes 并为 pod 重新创建它?

对不起,如果我的术语不正确,这对我来说是新的

4

2 回答 2

2

目前,如果我正确阅读了文档,您将无法修改 Composer 使用的图像。除非您在 Kubernetes 集群上部署自定义解决方案,否则我认为您无法将其扩展到 Python 库和 Airflow 插件之外。

您可以通过 ssh 连接到每个工作人员 Compute Engine 实例并在每台机器上手动安装它。

您可以尝试通过 运行aptBashOperator,但我怀疑您会成功;不幸的是,Composer 仍然是一个 Beta 产品,许多功能仍在开发中。

于 2018-06-18T07:49:46.380 回答
1

如果我正确理解了您的问题,那么这就是我的答案。

Kubernetes 是 Docker 的编排器,因此,在 Kubernetes 集群中,您可以使用您为 Docker 构建的 Airflow 镜像。

只需使用 构建您自己的镜像docker build <you_Dockerfile>,将其推送到您的注册表,然后,您就可以使用image: <your_registry>/<your_image>Airflow deployment YAML-file for Kubernetes 部分中的镜像。在这里您可以找到在 Kubernetes 上设置 Apache Airflow 的示例

至于 Cloud Composer,它是一个基于Apache Airflow构建的完全托管的工作流编排服务。它不是管理 Airflow 的工具。欲了解更多信息,您可以查看链接,有一个简短的视频说明:Cloud Composer

于 2018-06-14T11:12:54.770 回答