我的依赖项如下。Spark 人员告诉我,我应该% "provided"
在 spark 依赖项之后添加,这样它们就不会与我的 jar 捆绑在一起(我不同意,但无论如何)。现在,如果我确实添加了“提供”了 Spark 模块的语法突出显示:(所有内容都以红色突出显示(未解决)(在我执行 a 之后sbt gen-idea
)。它继续构建正常。
有没有人找到解决方案?我担心我可能不得不编写一个脚本,在我编译之前添加“提供的”单词,然后在构建后删除它们。
让 Spark、SBT 和 Intellij 一起玩就像玩 wack-a-mole,似乎如果你解决一个问题,另一个问题就会萌芽!
libraryDependencies ++= Seq(
"org.scalacheck" %% "scalacheck" % "1.10.1" % "test" withSources() withJavadoc(),
"org.specs2" %% "specs2" % "1.14" % "test" withSources() withJavadoc(),
"org.scalaz" %% "scalaz-core" % "7.0.5" withSources() withJavadoc(),
"org.apache.commons" % "commons-math3" % "3.2" withSources() withJavadoc(),
"io.spray" %% "spray-json" % "1.3.1" withSources() withJavadoc(),
("org.apache.spark" % "spark-sql_2.10" % "1.0.0-cdh5.1.3") withSources() withJavadoc(),
("org.apache.spark" % "spark-core_2.10" % "1.0.0-cdh5.1.3") withSources() withJavadoc()
)
提供:
("org.apache.spark" % "spark-sql_2.10" % "1.0.0-cdh5.1.3" % "provided") withSources() withJavadoc(),
("org.apache.spark" % "spark-core_2.10" % "1.0.0-cdh5.1.3" % "provided") withSources() withJavadoc()