我正在尝试在 Openshift 上进行 spark-submit 以使用特定的 Worker 节点。下面是我的命令。
./spark/bin/spark-submit \
--master xx:6443 \
--deploy-mode cluster \
--name <Name> \
--class com.xxx \
--conf spark.executor.instances=2 \
--conf spark.kubernetes.namespace=xxxx \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=default \
--conf spark.kubernetes.container.image=my-image \
--conf spark.jars.ivy=/tmp/.ivy \
--conf spark.kubernetes.executor.limit.cores=0.1 \
--conf spark.kubernetes.driver.limit.cores=0.1 \
--conf spark.kubernetes.driver.request.cores=0.1 \
--conf spark.kubernetes.executor.request.cores=0.1 \
local:///opt/xx.jar
我已经获得了特定的工作节点，带有污染键/值对 xxx/yyyy。你能帮助如何在 spark-submit conf 中传递它，以使用特定的工作节点。
谢谢。