java - 通过 Spark Operator 执行 Spark/Java 应用程序的 Dockerfile

Question

我正在尝试使用 spark-operator 在 kubernetese（通过 minikube）上运行 spark/java 应用程序。我对应该在 Dockerfile 中放置什么以便它可以以图像格式构建并通过 spark-operator 执行有点困惑？

示例 spark-operator.yaml ：

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: my-spark-app
  namespace: default
spec:
  type: Java
  mode: cluster
  image: docker/repo/my-spark-app-image
  mainApplicationFile: local:///opt/app/my-spark-app.jar

如上所述，spark 运算符 yaml 只需要 jar 和图像位置。那么，我是否需要在我的 Dockerfile 中提及以下内容？是否有任何可用的示例 Dockerfile 可供我参考？

Dockerfile：

FROM openjdk11:alpine-jre

COPY target/*.jar /opt/app/csp_auxdb_refresh.jar
COPY src/main/resources/*  opt/app

Answer 1

在Dockerfile您提供的文件中，也没有安装 Spark，也没有安装其他依赖项。要快速开始，请用作图像的基础，即将语句gcr.io/spark-operator/spark:v3.1.1更改为并再次构建。FROMFROM gcr.io/spark-operator/spark:v3.1.1

spark-operator在他们的 Github 存储库（这里）中有一个很好的指南，介绍了如何开始使用。