scala - 如何在使用 spark-submit 命令时修复 Logger 初始化错误

Question

运行我的 spark-jdbc 作业以连接到另一个数据库时遇到问题。但我之前有错误。org.apache.spark.internal.Logging$class.initializeLogIfNecessary(Logging.scala:99) 处的线程“主”java.lang.AbstractMethodError 中的异常

我的 Logger 无法被 scala 初始化。我正在使用 scala 2.11 和相同版本的 spark。

无法通过 IDE 调试此问题，因为一切都很好，但是当我运行 spark-submit 时，会发生错误。

Answer 1

使用 Spark 2.3 时遇到同样的错误，我应该一直在使用 Spark 2.2。显然，该方法在以后的版本中被抽象化了，所以我得到了那个错误。

试试这个