1

我有一个 kubernetes 集群，我尝试在其中运行 spark 示例应用程序 (spark-pi)。

我已经设置了一个服务帐户 =spark

设想

当我spark-submit像下面这样从命令行执行操作时，出现容器错误。

bin/spark-submit --master k8s://https://IP:port --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=spark:latest --conf spark.kubernetes.container.image.pullPolicy=Never --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark local:///opt/spark/examples/jars/spark-examples_2.12-3.1.0-SNAPSHOT.jar 10

期待：

获取打印在日志中的pi=值3.14

实际结果：

由于出现错误情况，驱动程序窗格未出现。当我在 pod 上进行描述时，我看到以下内容：

  • $ kubectl describe pods spark-pi-driver
"applicationState": {
    "state": "FAILING",
    "errorMessage": "driver container failed with ExitCode: 1, Reason: Error"
  },

事件：无

我也没有看到任何事件

有没有更好的方法来解决这种情况？请帮忙。

4

0 回答 0