问题标签 [kubernetespodoperator]

我有一个名为 Kubernetes ConfigMap test，其中包含一个foobar具有某些值的键。我想在环境变量中使用该键的值。

工作原理： ConfigMap 在已安装的卷中可用，因此我可以执行ls /config并foobar显示。

什么不起作用：我想使用foobar已安装的配置映射中的值设置一个环境变量。当前代码不起作用，因为将文字字符串值/config/foobar提供给了 env var。

我正在尝试将秘密变量传递给我KubernetesPodOperator的气流

这是我所做的：

1. 创建一个secret.yaml如下所示的文件

2. 应用秘密：

3. 从我的 DAG 文件中检索秘密：

所以现在据我了解，我应该SECRET_1从容器中作为环境变量访问KubernetesPodOperator

但是，我从 python 脚本（带有os.environ["SECRET_1"]）的第一个任务返回一个错误，表明此环境变量不存在：

那么如何从我的 python 脚本访问这个变量呢？

我有一个气流 DAG“example_ml.py”，它有一个任务“train_ml_model”，这个任务正在调用/运行一个 python 脚本“training.py”。

-Dags/example_ml.py -Dags/training.py

当我运行 Dag 时，它无法导入执行训练脚本所需的模块。

DAG 任务的代码片段：

PS：我使用的是k8s集群。Airflow在k8s集群中运行，executor设置为kubernetesExecutor。因此，当每个 DAG 被触发时，都会分配一个新的 pod 来完成任务。

我正在尝试使用 Airflow kubernetes pod 运算符创建和运行一个 pod。下面的命令已尝试并确认可以正常工作，我正在尝试在本地使用 kubernetes pod 操作符复制相同的命令

在这里撞墙，因为似乎没有办法使用气流传递 --serviceaccount 标志，这是我的实施所必需的，这会在我这边引发错误。

线程“main”io.fabric8.kubernetes.client.KubernetesClientException 中的异常：pods“sparkairflow-155252344-driver”被禁止：用户“system:serviceaccount:test-namespace:default”无法观看 API 组“”中的资源“pods”在命名空间“test-namespace”中：拒绝访问

到目前为止，我发现的解决方案主要集中在将默认用户添加到命名空间角色上，但这对我来说是不可能的。

有什么方法可以将 serviceaccount 标志传递给气流 kubernetes 操作员？

谢谢！

我正在使用气流安排一些任务KubernetesPodOperator；我想使用自定义 dns 配置部署我的 pod：

但问题是我找不到设置 dns config 和 nameserver 的方法KubernetesPodOperator。那么有没有人有一个解决方案来使用自定义 dns 配置在气流中提交 k8s 上的任务？

我已经使用 Airflow UI 设置了 Big Query Connection。气流 --> 管理员 --> 连接 --> bigquery_default。

我正在使用 kubernetespodoperator 来执行 python 代码。我的问题是如何将大查询连接传递给这个可调用的 python 模块。在这个 python 模块中，我有几个需要执行的 sql 查询。我不能使用大查询运算符，因为基于 python 中的代码，它需要执行所有这些 sql 查询。

谢谢

我们在 Kubernetes 上运行气流。下面是我的airflowlocalsettings：

我想启动一些选择性任务 pod，它们有自己的资源通过resources参数传递KubernetesPodOperator。现在的问题是 Resources 被覆盖，它从pod_mutation_hook.

我们如何绕过 pod_mutation 资源，让这些 pod 拥有自己的资源设置？我无法从中删除资源设置，pod_mutation_hook因为它也被其他 pod 使用。

如何使用在 GCP 中的 Container Registry 中使用 Running this docker runlocal 进行私有映像工作正常：--privileged

我跟着这个，但错误仍然存​​在。

这是我的 DAG：

我有一个非常奇怪的气流错误。

问题

我有一个bash operator作为第 1 步和KubernetesPodOperator第 2 步的 dag。问题是关于KubernetesPodOperator. 基本上，我提供任务图像X已经有一段时间了，我最近将任务接收的图像更改为Y. 我遇到的问题在TaskInstanceDetails图像中是正确的：Y. 但是，在 Rendered Template 中，图像开始正确X，但是，一旦任务开始运行，它就会将图像更改为Y.

我知道这很模糊，我不能提供更多，但我只是在寻找可能发生的事情的可能性，因为我没有想法。

我试过的

• 从数据库中删除序列化的 Dags
• 从数据库中删除渲染的任务详细信息
• 气流数据库重置
• Airflow db init（在对整个事情进行核对之后）
• 删除 EC2 节点并尝试使用新节点

编辑

所以，我尝试运行airflow tasks render dag_id task_id execution_date，结果是图像X！图像Y仅叠加在 dag 运行上。

我们有一种自助式 Airflow 集群，它要求所有任务都包装为 KubernetesPodOperator 任务。有了这个设置，在 CI/CD 设置中测试 dags 的可能选项是什么？