5

我正在尝试将 pureConfig 和 configFactory 用于我的 spark 应用程序配置。这是我的代码：

import pureconfig.{loadConfigOrThrow}
object Source{
  def apply(keyName: String, configArguments: Config): Source = {
    keyName.toLowerCase match {
      case "mysql" =>
          val properties = loadConfigOrThrow[DBConnectionProperties](configArguments)
          new MysqlSource(None, properties)
      case "files" =>
        val properties = loadConfigOrThrow[FilesSourceProperties](configArguments)
        new Files(properties)
      case _ => throw new NoSuchElementException(s"Unknown Source ${keyName.toLowerCase}")
    }

  }
}

import Source
val config = ConfigFactory.parseString(result.mkString("\n"))
    val source = Source("mysql",config.getConfig("source.mysql"))

当我从IDE（intelliJ）或直接从java（即java jar ...）运行它时，它工作正常。

但是当我使用 spark-submit 运行它时，它会失败并出现以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: shapeless.Witness$.mkWitness(Ljava/lang/Object;)Lshapeless/Witness;

通过快速搜索，我发现了与此问题类似的内容。这表明原因是由于 spark 和 pureConfig 都依赖于 Shapeless 但具有不同的版本，

我试图按照答案中的建议对其进行遮蔽

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("shapeless.**" -> "shadeshapless.@1")
    .inLibrary("com.github.pureconfig" %% "pureconfig" % "0.7.0").inProject
)

但是效果不好，可能是其他原因吗？知道什么可行吗？

谢谢

4

1 回答 1

3

除了 pureconfig，您还必须在其自己的 JAR 中对 shapeless 进行着色：

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("shapeless.**" -> "shadeshapless.@1")
    .inLibrary("com.chuusai" % "shapeless_2.11" % "2.3.2")
    .inLibrary("com.github.pureconfig" %% "pureconfig" % "0.7.0")
    .inProject
)

确保添加正确的无形版本。

于 2017-04-25T18:02:12.407 回答