-1

我在我的 Scala Spark 应用程序上构建测试,但在运行测试时我在 Intellij 上得到以下异常。其他没有 SparkContext 的测试运行良好。如果我使用“sbt test-only”在终端上运行测试,那么使用 sparkcontext 的测试是否有效?需要我为带有 sparkcontext 的测试专门配置 intellij 吗?

异常或错误导致运行中止:org.apache.spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V java.lang.NoSuchMethodError: org.apache .spark.rdd.ShuffledRDD.(Lorg/apache/spark/rdd/RDD;Lorg/apache/spark/Partitioner;)V 在 org.apache.spark.graphx.impl.RoutingTableMessageRDDFunctions.copartitionWithVertices(RoutingTablePartition.scala:36) 在org.apache.spark.graphx.VertexRDD$.org$apache$spark$graphx$VertexRDD$$createRoutingTables(VertexRDD.scala:457) 在 org.apache.spark.graphx.VertexRDD$.fromEdges(VertexRDD.scala:440)在 org.apache.spark.graphx.impl.GraphImpl$.fromEdgeRDD(GraphImpl.scala:336) 在 org.apache.spark.graphx.impl.GraphImpl$.fromEdgePartitions(GraphImpl.scala:282) 在 org.apache.spark .graphx.GraphLoader$.edgeListFile(GraphLoader.scala:91)

4

1 回答 1

0

最可能的问题是 spark-core 版本不匹配。

检查您的 sbt 文件以确保使用您拥有的相应 spark 核心版本。

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0"  
libraryDependencies += "org.apache.spark" %% "spark-graphx" %"1.1.0"
于 2014-11-25T08:57:35.420 回答