3

我正在使用 Cloudera 4.2.0 和 Spark。

我只是想试试 Spark 给出的一些例子。

// HdfsTest.scala
package spark.examples

import spark._

object HdfsTest {
  def main(args: Array[String]) {
    val sc = new SparkContext(args(0), "HdfsTest",
      System.getenv("SPARK_HOME"), Seq(System.getenv("SPARK_EXAMPLES_JAR")))

    val file = sc.textFile("hdfs://n1.example.com/user/cloudera/data/navi_test.csv")
    val mapped = file.map(s => s.length).cache()
    for (iter <- 1 to 10) {
      val start = System.currentTimeMillis()
      for (x <- mapped) { x + 2 }
      //  println("Processing: " + x)
      val end = System.currentTimeMillis()
      println("Iteration " + iter + " took " + (end-start) + " ms")
    }
    System.exit(0)
  }
}

编译没问题，但是总有一些运行时问题：

Exception in thread "main" java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider org.apache.hadoop.hdfs.HftpFileSystem could not be instantiated: java.lang.IllegalAccessError: tried to access method org.apache.hadoop.fs.DelegationTokenRenewer.<init>(Ljava/lang/Class;)V from class org.apache.hadoop.hdfs.HftpFileSystem
    at java.util.ServiceLoader.fail(ServiceLoader.java:224)
    at java.util.ServiceLoader.access$100(ServiceLoader.java:181)
    at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:377)
    at java.util.ServiceLoader$1.next(ServiceLoader.java:445)
    at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2229)
    at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2240)
    at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2257)
    at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:86)
    at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2296)
    at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2278)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:316)
    at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:162)
    at org.apache.hadoop.mapred.JobConf.getWorkingDirectory(JobConf.java:587)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:315)
    at org.apache.hadoop.mapred.FileInputFormat.setInputPaths(FileInputFormat.java:288)
    at spark.SparkContext.hadoopFile(SparkContext.scala:263)
    at spark.SparkContext.textFile(SparkContext.scala:235)
    at spark.examples.HdfsTest$.main(HdfsTest.scala:9)
    at spark.examples.HdfsTest.main(HdfsTest.scala)
Caused by: java.lang.IllegalAccessError: tried to access method org.apache.hadoop.fs.DelegationTokenRenewer.<init>(Ljava/lang/Class;)V from class org.apache.hadoop.hdfs.HftpFileSystem
    at org.apache.hadoop.hdfs.HftpFileSystem.<clinit>(HftpFileSystem.java:84)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:57)
    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
    at java.lang.reflect.Constructor.newInstance(Constructor.java:532)
    at java.lang.Class.newInstance0(Class.java:374)
    at java.lang.Class.newInstance(Class.java:327)
    at java.util.ServiceLoader$LazyIterator.next(ServiceLoader.java:373)
... 16 more

我在谷歌上搜索过，不知道 Spark 和 HDFS 的这种异常。

val file = sc.textFile("hdfs://n1.example.com/user/cloudera/data/navi_test.csv")是问题发生的地方。

13/04/04 12:20:51 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

我得到了这个警告。也许我应该在 CLASS_PATH 中添加一些 hadoop 路径。

随时提供任何线索。=)

谢谢你们。

任豪

4

3 回答 3

4

（这个问题也在spark-users 邮件列表中被询问/回答）。

您需要针对集群上运行的特定版本的 Hadoop/HDFS 编译 Spark。来自Spark 文档：

Spark 使用 Hadoop 核心库与 HDFS 和其他 Hadoop 支持的存储系统通信。由于 HDFS 协议在不同版本的 Hadoop 中发生了变化，因此您必须针对集群运行的相同版本构建 Spark。HADOOP_VERSION您可以通过在 顶部设置变量来更改版本project/SparkBuild.scala，然后重新构建 Spark ( sbt/sbt clean compile)。

spark-users邮件列表存档包含一些关于针对特定 Hadoop 版本进行编译的问题，因此如果您在构建 Spark 时遇到任何问题，我会在那里搜索。

于 2013-04-25T03:33:33.387 回答
0

您可以在构建 Spark 时使用环境变量设置 Coudera 的 Hadoop 版本，在 Cloudera 的 maven repo 上查找您的确切工件版本，应该是这样的：

SPARK_HADOOP_VERSION=2.0.0-cdh4.2.0 sbt/sbt assembly publish-local

确保您使用用于构建 Spark 的相同 Java 引擎运行您运行的任何程序。此外，还有针对不同 Cloudera Hadoop 发行版的预构建 Spark 包，例如http://spark-project.org/download/spark-0.8.0-incubating-bin-cdh4.tgz

于 2013-11-22T16:32:17.973 回答
-1

这可能是与系统中安装的 Java 有关的问题。Hadoop 需要 (Sun) Java 1.6+。确保你有：

JAVA_HOME="/usr/lib/jvm/java-6-sun

于 2013-04-23T04:56:52.927 回答