我有一个 spark-job，我通常从本地机器提交到 hadoop 集群。当我使用 spark 2.2.0提交它时，它工作正常，但是当我使用2.4.0提交它时无法启动。只是有所作为SPARK_HOME。
drwxr-xr-x 18 me 576 Jan 23 14:15 spark-2.4.0-bin-hadoop2.6
drwxr-xr-x 17 me 544 Jan 23 14:15 spark-2.2.0-bin-hadoop2.6
我提交的工作喜欢
spark-submit \
--master yarn \
--num-executors 20 \
--deploy-mode cluster \
--executor-memory 8g \
--driver-memory 8g \
--class package.MyMain uberjar.jar \
--param1 ${BLA} \
--param2 ${BLALA}
为什么新的spark版本拒绝接受我的uberjar？我在 spark 2.4 文档中没有发现任何变化。顺便说一句：jar 是使用 spark 2.1 作为依赖项构建的。有任何想法吗？
编辑：
我认为我的问题与 spark 未能在我的 uberjar 中找到东西无关。更确切地说，我可能对新的内置 avro 功能有疑问。和以前一样，我spark.read.avro使用com.databricks.spark.avro._. Spark 2.4.0 有一些新的内置 avro 东西（大部分都可以在 中找到org.apache.spark:spark-avro_2.*11*:2.4.0）。失败可能与此有关。
java.lang.ClassNotFoundException: Failed to find data source: org.apache.spark.sql.avro.AvroFileFormat. Please find packages at http://spark.apache.org/third-party-projects.html
at org.apache.spark.sql.execution.datasources.DataSource$.lookupDataSource(DataSource.scala:657)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:194)
at org.apache.spark.sql.DataFrameReader.load(DataFrameReader.scala:178)
at com.databricks.spark.avro.package$AvroDataFrameReader$$anonfun$avro$2.apply(package.scala:34)
at com.databricks.spark.avro.package$AvroDataFrameReader$$anonfun$avro$2.apply(package.scala:34)
at myproject.io.TrainingFileIO.readVectorAvro(TrainingFileIO.scala:59)
at myproject.training.MainTraining$.train(MainTraining.scala:37)
苏。我认为问题更深层次。我得到的实际错误是：