apache-spark - 如何将自己构建的Breeze添加到Apache Spark？

Question

我在 Breeze 库中添加了一些方法，我可以通过 IDE 看到这些方法。我正在尝试将我自己构建的 Breeze 库添加到我基于 Apache Spark 的项目中。但是，当我通过命令“sbt assembly”打包我的项目并在我的集群上运行它时，它会抛出一个错误“no such method xxx”，这意味着集群实际上没有运行我的 Breeze 库。那么谁能告诉我如何让集群运行我自己构建的 Breeze 库？

Answer 1

我猜测 spark 本身使用了某些版本的 Breeze 库，并且比您在程序集中的自定义 .jar 更喜欢它们。您可以尝试使用自定义库构建 spark。在本地 maven 存储库中安装您的库，在 apache spark 中指定它pom.xml并构建您自己的 spark 版本。