我有一个 kubernetes 集群,我尝试在其中运行 spark 示例应用程序 (spark-pi)。
我已经设置了一个服务帐户 =spark
设想
当我spark-submit
像下面这样从命令行执行操作时,出现容器错误。
bin/spark-submit --master k8s://https://IP:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=spark:latest --conf spark.kubernetes.container.image.pullPolicy=Never --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark local:///opt/spark/examples/jars/spark-examples_2.12-3.1.0-SNAPSHOT.jar 10
期待:
获取打印在日志中的pi
=值3.14
实际结果:
由于出现错误情况,驱动程序窗格未出现。当我在 pod 上进行描述时,我看到以下内容:
$ kubectl describe pods spark-pi-driver
"applicationState": {
"state": "FAILING",
"errorMessage": "driver container failed with ExitCode: 1, Reason: Error"
},
事件:无
我也没有看到任何事件
有没有更好的方法来解决这种情况?请帮忙。