apache-spark-sql - 使用 oozie 操作执行 spark sql 作业的问题

Question

面对一个奇怪的问题，尝试spark-sql(Spark2)使用oozie action但执行的行为很奇怪，有时它执行得很好，但有时它会Running永远处于“”状态，在检查日志时遇到了以下问题。

WARN  org.apache.spark.scheduler.cluster.YarnClusterScheduler`  - Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources

奇怪的是我们已经提供了足够的资源，从spark环境变量和集群资源下也可以看出这一点（集群有足够的核心和RAM）。

<spark-opts>--executor-memory 10G --num-executors 7 --executor-cores 3 --driver-memory 8G --driver-cores 2</spark-opts>

使用相同的配置，有时它也可以正常执行。我们错过了什么吗？

Answer 1

该问题与 jar 冲突有关，以下是识别相同问题的建议。a) 检查 maven 依赖树以确保没有传递依赖冲突。b) 在 spark 作业运行时，使用 Spark UI 检查正在使用的环境变量。c) 解决冲突并运行 maven clean 包。