97

我正在使用 SBT（在 IntelliJ IDEA 中）构建一个简单的 Scala 项目。

我想知道构建Uber JAR的最简单方法是什么文件（又名 Fat JAR、Super JAR）

我目前正在使用 SBT，但是当我将 JAR 文件提交到Apache Spark时，我收到以下错误：

线程“main”中的异常 java.lang.SecurityException：Manifest 主要属性的签名文件摘要无效

或者编译时出现这个错误：

java.lang.RuntimeException：去重：在以下位置找到不同的文件内容：
PATH\DEPENDENCY.jar:META-INF/DEPENDENCIES
PATH\DEPENDENCY.jar:META-INF/MANIFEST.MF

看起来像是因为我的一些依赖项包括签名文件（META-INF），需要在最终的 Uber JAR 文件中删除。

我尝试使用sbt-assembly插件：

/project/assembly.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

/project/plugins.sbt

logLevel := Level.Warn

/build.sbt

lazy val commonSettings = Seq(
  name := "Spark-Test"
  version := "1.0"
  scalaVersion := "2.11.4"
)

lazy val app = (project in file("app")).
  settings(commonSettings: _*).
  settings(
    libraryDependencies ++= Seq(
      "org.apache.spark" %% "spark-core" % "1.2.0",
      "org.apache.spark" %% "spark-streaming" % "1.2.0",
      "org.apache.spark" % "spark-streaming-twitter_2.10" % "1.2.0"
    )
  )

当我单击“构建工件... ”时，我得到一个 JAR 文件。但我最终得到了同样的错误......

我是 SBT 的新手，对 IntelliJ IDE 的实验并不多。

谢谢。

4

3 回答 3

153

最后，我完全跳过使用 IntelliJ IDEA 以避免在我的全局理解中产生噪音 :)

我开始阅读官方 SBT 教程。

我使用以下文件结构创建了我的项目：

my-project/project/assembly.sbt
my-project/src/main/scala/myPackage/MyMainObject.scala
my-project/build.sbt

在我的assembly.sbt文件中添加了sbt-assembly 插件。允许我构建一个胖 JAR：

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

我最小的build.sbt看起来像：

lazy val root = (project in file(".")).
  settings(
    name := "my-project",
    version := "1.0",
    scalaVersion := "2.11.4",
    mainClass in Compile := Some("myPackage.MyMainObject")        
  )

val sparkVersion = "1.2.0"

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-streaming-twitter" % sparkVersion
)

// META-INF discarding
mergeStrategy in assembly <<= (mergeStrategy in assembly) { (old) =>
   {
    case PathList("META-INF", xs @ _*) => MergeStrategy.discard
    case x => MergeStrategy.first
   }
}

注意：% "provided"不在最终胖 JAR 中包含依赖项的方法（这些库已经包含在我的工作人员中）

注意：受此答案启发的META-INF 丢弃。

注%：和的含义%%

现在我可以通过在我的/my-project根文件夹中运行以下命令来使用 SBT（如何安装它）构建我的胖 JAR ：

sbt assembly

我的胖 JAR 现在位于新生成的/target文件夹中：

/my-project/target/scala-2.11/my-project-assembly-1.0.jar

希望对其他人有所帮助。

对于那些想要在 IntelliJ IDE 中嵌入 SBT 的人：如何在 IntelliJ IDEA 中运行 sbt-assembly 任务？

于 2015-02-13T11:19:47.203 回答
41

在 IntelliJ Idea 中构建 Uber JAR/Fat JAR 的 3 步过程：

Uber JAR/Fat JAR：包含所有外部库依赖项的 JAR 文件。

  1. 在 IntelliJ Idea 中添加 SBT Assembly 插件

    插件 sbt 路径

    转到ProjectName/project/target/plugins.sbt文件并添加此行addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

  2. 在 build.sbt 中添加合并、丢弃和不添加策略

    构建 sbt 路径

    转到ProjectName/build.sbt文件并添加 Uber JAR 打包策略

    合并策略：如果两个包中关于库版本的冲突，那么将哪个包打包在 Uber JAR 中。
    丢弃策略：从库中删除一些您不想打包在 Uber JAR 中的文件。
    不要添加策略：不要向 Uber JAR 添加一些包。
    例如：spark-core将已经存在于您的 Spark 集群中。因此我们不应将其打包在 Uber JAR 中

    合并策略和丢弃策略基本代码：

    assemblyMergeStrategy in assembly := { case PathList("META-INF", xs @ _*) => MergeStrategy.discard case x => MergeStrategy.first }

    因此，您要求使用此命令丢弃 META-INF 文件MergeStrategy.discard，对于其余文件，如果使用此命令存在任何冲突，则您将使用第一次出现MergeStrategy.first的库文件。

    不要添加策略基本代码：

    libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" %"provided"

    如果我们不想将 spark-core 添加到我们的 Uber JAR 文件中，因为它已经在我们的集群中，所以我们添加了% "provided"at end of it 库依赖项。

  3. 构建 Uber JAR 及其所有依赖项

    组装

    sbt assembly用于构建包的终端类型


瞧！！！Uber JAR 已构建。JAR 将位于ProjectName/target/scala-XX

JarBuilt

于 2015-10-06T04:17:28.723 回答
17

将以下行添加到您的项目/plugins.sbt

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.12.0")

将以下内容添加到您的 build.sbt

mainClass in assembly := some("package.MainClass")
assemblyJarName := "desired_jar_name_after_assembly.jar"

val meta = """META.INF(.)*""".r
assemblyMergeStrategy in assembly := {
  case PathList("javax", "servlet", xs @ _*) => MergeStrategy.first
  case PathList(ps @ _*) if ps.last endsWith ".html" => MergeStrategy.first
  case n if n.startsWith("reference.conf") => MergeStrategy.concat
  case n if n.endsWith(".conf") => MergeStrategy.concat
  case meta(_) => MergeStrategy.discard
  case x => MergeStrategy.first
}

Assembly 合并策略用于解决创建 fat jar 时发生的冲突。

于 2015-02-17T10:42:13.043 回答