maven - java.lang.NoSuchMethodError：微风.linalg.squaredDistance

Question

我想在集群上运行 Spark Streaming 程序。尽管我的程序在我的机器上本地正确运行，但在集群问题上运行。事实上，我得到这个错误：

java.lang.NoSuchMethodError: breeze.linalg.squaredDistance$.distanceFromDotAndSub(Lbreeze/generic/UFunc$UImpl2;Lbreeze/generic/UFunc$UImpl2;)Lbreeze/generic/UFunc$UImpl2;

为什么它不在集群上时它在本地运行？！

我添加了如下微风依赖：

<dependency>
  <groupId>org.scalanlp</groupId>
  <artifactId>breeze_${scala.version}</artifactId>
  <version>0.11.1</version>
  <scope>compile</scope>
</dependency> 

Answer 1

这可能是因为依赖项在本地的类路径中可用，但在工作节点上不可用。制作一个包含依赖项的 fat/uber jar，然后尝试。

参考这个