2

我遇到了与此处遇到的错误类似的错误- 我可以使用 spark shell 运行 GraphX，但是当我尝试在 jar 文件上使用 spark-submit 时遇到 NoSuchMethodError。这是它抱怨的行：

val myGraph: Graph[(String, Long, String), Int] = Graph.apply(userRecords, userConnectionEdges)

这给了我以下错误：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.graphx.
Graph$.apply$default$4()Lorg/apache/spark/storage/StorageLevel;
        at MyProject$.main(MyProject.scala:53)
        at MyProject.main(MyProject.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.
java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAcces
sorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:483)
        at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:292)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:55)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

代码使用 sbt 程序集构建，所以我不是出了什么问题。

编辑：我创建了一个新的 scala 项目来从这里获取代码并将其构建到一个 jar 文件中。这是 scala 文件：

/* GraphTest.scala */

import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

import org.apache.spark.graphx._
import org.apache.spark.rdd.RDD

object GraphTest {

 def main(args: Array[String]) {

    // Set up environment
    val conf = new SparkConf()
    val sc = new SparkContext(conf)

    // Set up the vertices
    val vertexArray = Array(
      (1L, ("Alice", 28)),
      (2L, ("Bob", 27)),
      (3L, ("Charlie", 65)),
      (4L, ("David", 42)),
      (5L, ("Ed", 55)),
      (6L, ("Fran", 50))
      )

    // Set up the edges
    val edgeArray = Array(
      Edge(2L, 1L, 7),
      Edge(2L, 4L, 2),
      Edge(3L, 2L, 4),
      Edge(3L, 6L, 3),
      Edge(4L, 1L, 1),
      Edge(5L, 2L, 2),
      Edge(5L, 3L, 8),
      Edge(5L, 6L, 3)
      )

    // Convert arrays to RDDs
    val vertexRDD: RDD[(Long, (String, Int))] = sc.parallelize(vertexArray)
    val edgeRDD: RDD[Edge[Int]] = sc.parallelize(edgeArray)

    // Create graph and print vertex data
    val graph: Graph[(String, Int), Int] = Graph(vertexRDD, edgeRDD)

    graph.vertices.filter { case (id, (name, age)) => age > 30 }.collect.foreach {
        case (id, (name, age)) => println(s"$name is $age")
    } 
 } 
}

以下是构建设置：

import AssemblyKeys._

assemblySettings

name := "graphtest"

version := "1.0"

scalaVersion := "2.10.3"

libraryDependencies += "org.apache.spark" % "spark-graphx_2.10" % "1.2.1" % "provided"

我可以在代码上运行 sbt 程序集，但是当我运行时

..\spark\bin\spark-submit --class GraphTest target\scala-2.10\graphtest-assembly-1.0.jar

我得到 NoSuchMethodError。

4

3 回答 3

1

原来是版本问题 - 我使用的是 Databricks 培训中的 SBT 和 Spark，它们比当前版本落后了几个版本。这将适用于最新版本的 SBT (v0.13.7)、Scala (2.10.4) 和 Spark (1.2.1)。

在我开始工作后，我遇到了这个Spark/Hadoop/winutils.exe 错误。最终我得到了一切工作:)

于 2015-02-23T18:22:00.090 回答
0

看起来您只是为 graphx 添加了依赖项，而不是作为一个整体添加了 Spark；例如libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" % "provided"。

于 2015-02-18T18:59:18.060 回答
0

看起来可能是您使用了“提供的”依赖项：“要排除某些 jar 文件，首先考虑使用“提供的”依赖项”。我猜它们不是您程序集的一部分，因此在您调用spark-submit.

于 2015-02-18T20:52:54.417 回答