java - 使用 Java api 调用 Kubernetes Spark Operator

Question

有很多使用 Kubernetes Spark Operator 创建 Spark 作业的示例，只需使用以下内容提交请求

kubectl apply -f spark-pi.yaml

spark-pi.yaml 可以在这里找到

有谁知道使用 Java K8s api 提交这样的工作的最简单方法？

Answer 1

我建议查看Apache Spark 在 K8s 中使用的Fabric8 K8s 客户端或官方Java K8s 客户端。使用这些库，您可以使用代码提交 K8s 资源。

Answer 2

我已经编写了一个应用程序来向 Kubernetes 提交 Spark 作业，您需要传递的只是 Config Map（应用程序的键值对）

你可以在github下找到相同的类RunSparkJobInKube(jobConfiguration: Map[String,String])

这可能会帮助您为您的要求提供一个想法。

虽然这是 scala，但您可以在 java 中作为普通方法调用。

如果您对安全性感兴趣，在此应用程序中，我已与 IAM（特定于 aws）集成。