问题标签 [google-spark-operator]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票
1 回答
89 浏览

kubernetes-helm - Helm install spark-operator 尝试下载不存在的版本,无法强制使用正确的版本

我正在尝试安装任何工作版本的 spark- operator https://console.cloud.google.com/gcr/images/spark-operator/GLOBAL/spark-operator?tag=v1beta2-1.3.1-3.1.1我本地的 Kubernetes。但是,spark pod 卡在 ImagePullBackOff 上,试图下载不存在的版本。

命令:

helm repo add spark-operator https://googlecloudplatform.github.io/spark-on-k8s-operator

helm install v1beta2-1.2.1-3.0.0 spark-operator/spark-operator --namespace spark-operator6 --create-namespace

kubectl get pods -n spark-operator6

NAME READY STATUS RESTARTS AGE v1beta2-1.2.1-3.0.0-spark-operator-67577fd4d4-m9zmw 0/1 ImagePullBackOff 0 6s

kubectl describe pod v1beta2-1.2.1-3.0.0-spark-operator-67577fd4d4-m9zmw

图片:gcr.io/spark-operator/spark-operator:v1beta2-1.3.1-3.1.1 - 不同的! 无法提取图像“gcr.io/spark-operator/spark-operator:v1beta2-1.3.1-3.1.1”:rpc 错误:代码 = 未知 desc = 来自守护进程的错误响应:gcr.io/spark-operator 的清单/spark-operator:v1beta2-1.3.1-3.1.1 未找到:清单未知:无法从请求“/v2/spark-operator/spark-operator/manifests/ 获取“v1beta2-1.3.1-3.1.1” v1beta2-1.3.1-3.1.1"

现在这似乎是一个不正确的版本。试图通过 helm install flag --operatorVersion 覆盖它,但这完全被忽略了。

通过查看其模板helm template v1beta2-1.2.1-3.0.0 spark-operator/spark-operator --namespace spark-operator6 --set operatorVersion=v1beta2-1.2.1-3.0.0 > template.yaml,所有 app.kubernetes.io/instance 都在正确的版本上,但所有 app.kubernetes.io/version 都显示不存在的 v1beta2-1。3.1-3.1.1。更正它并尝试通过正确的值安装

helm install -f template.yaml v1beta2-1.2.1-3.0.0 spark-operator/spark-operator --namespace spark-operator6

但这又被完全忽略了。

我觉得我在这里遗漏了一些非常基本的东西, helm install 不可能那么坏。非常感谢任何帮助,谢谢。

0 投票
1 回答
56 浏览

apache-spark - 气流 SparkKubernetesOperator 日志记录

我在 Airflow 中使用 KubernetesExecutor 作为 Executor。我的 DAG 代码

DAG 执行成功。我可以通过执行在 spark-driver 日志中看到输出kubectl logs spark-pi-driver 在此处输入图像描述

但我无法在 Airflow UI 中看到相同的日志。 在此处输入图像描述