apache-spark - 了解 spark-sbt-plugin

Question

我遇到了有关如何设置build.sbtSpark 的详细说明。

但后来我读到了Spark 包的 SBT 插件，其中显然只有一行

https://github.com/databricks/sbt-spark-package

没关系，因为插件正在做讨厌的工作。

这种理解正确吗？

Answer 1

我会说是的。如果您查看用于 Spark 的简单 .sbt 文件（例如https://github.com/databricks/learning-spark/blob/master/build.sbt），您会发现您需要包含一堆火花依赖。（好吧，不是所有列出的......）。

另外，如果你看一下插件做了什么，你会发现更多的实用功能：https://github.com/databricks/sbt-spark-package/blob/master/src/main/scala/sbtsparkpackage/SparkPackagePlugin。斯卡拉

这是一个很酷的插件！