1

我正在尝试从此处描述的 Scala 对象创建 JSON 字符串。

我有以下代码：

import scala.collection.mutable._
import net.liftweb.json._
import net.liftweb.json.Serialization.write

case class Person(name: String, address: Address)
case class Address(city: String, state: String)

object LiftJsonTest extends App {

  val p = Person("Alvin Alexander", Address("Talkeetna", "AK"))

  // create a JSON string from the Person, then print it
  implicit val formats = DefaultFormats
  val jsonString = write(p)
  println(jsonString)

}

我的 build.sbt 文件包含以下内容：

libraryDependencies += "net.liftweb" %% "lift-json" % "2.5+"

当我用 构建时sbt package，它是成功的。

但是，当我尝试将其作为 Spark 作业运行时，如下所示：

spark-submit \
  --packages com.amazonaws:aws-java-sdk-pom:1.10.34,org.apache.hadoop:hadoop-aws:2.6.0,net.liftweb:lift-json:2.5+ \
  --class "com.foo.MyClass" \
  --master local[4] \
  target/scala-2.10/my-app_2.10-0.0.1.jar

我收到此错误：

Exception in thread "main" java.lang.RuntimeException: [unresolved dependency: net.liftweb#lift-json;2.5+: not found]
    at org.apache.spark.deploy.SparkSubmitUtils$.resolveMavenCoordinates(SparkSubmit.scala:1068)
    at org.apache.spark.deploy.SparkSubmit$.prepareSubmitEnvironment(SparkSubmit.scala:287)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:154)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:121)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

我在这里做错了什么？net.liftweb:lift-json:2.5+我的packages论点不正确吗？我需要在 build.sbt 中添加解析器吗？

4

1 回答 1

1

用户还可以通过使用 --packages提供逗号分隔的 maven 坐标列表来包含任何其他依赖项。

2.5+在你的build.sbt是常春藤版本匹配器语法，而不是 Maven 坐标所需的实际工件版本。spark-submit显然不使用 Ivy 进行解析（我认为如果这样做会令人惊讶；您的应用程序可能会突然停止工作，因为发布了新的依赖版本）。因此，您需要找到2.5+在您的情况下可以解析的版本，例如使用https://github.com/jrudolph/sbt-dependency-graph（或尝试在 中找到它show dependencyClasspath）。

于 2016-09-22T11:19:02.557 回答