3

我目前正在尝试将 Hadoop 与 Eclipse 集成。我按照 这里的说明进行操作。但是,当我尝试运行我的 Eclipse 项目时,我得到以下输出:

13/04/01 14:55:11 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
13/04/01 14:55:11 WARN mapred.JobClient: No job jar file set.  User classes may not be found. See JobConf(Class) or JobConf#setJar(String).
13/04/01 14:55:11 INFO input.FileInputFormat: Total input paths to process : 1
13/04/01 14:55:11 WARN snappy.LoadSnappy: Snappy native library not loaded
13/04/01 14:55:11 INFO mapred.JobClient: Running job: job_local_0001
13/04/01 14:55:11 INFO util.ProcessTree: setsid exited with exit code 0
13/04/01 14:55:11 INFO mapred.Task:  Using ResourceCalculatorPlugin : org.apache.hadoop.util.LinuxResourceCalculatorPlugin@6ea920ad
13/04/01 14:55:11 INFO mapred.MapTask: io.sort.mb = 100
13/04/01 14:55:11 INFO mapred.MapTask: data buffer = 79691776/99614720
13/04/01 14:55:11 INFO mapred.MapTask: record buffer = 262144/327680
13/04/01 14:55:11 WARN mapred.LocalJobRunner: job_local_0001
java.lang.ClassCastException: interface javax.xml.soap.Text
    at java.lang.Class.asSubclass(Class.java:3046)
    at org.apache.hadoop.mapred.JobConf.getOutputKeyComparator(JobConf.java:774)
    at org.apache.hadoop.mapred.MapTask$MapOutputBuffer.<init>(MapTask.java:959)
    at org.apache.hadoop.mapred.MapTask$NewOutputCollector.<init>(MapTask.java:674)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:756)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:370)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:212)
13/04/01 14:55:12 INFO mapred.JobClient:  map 0% reduce 0%
13/04/01 14:55:12 INFO mapred.JobClient: Job complete: job_local_0001
13/04/01 14:55:12 INFO mapred.JobClient: Counters: 0
false

我的机器是带有 Apache Hadoop 1.04 版、Oracle Java v1.7 和 Eclipse 3.7.2 的 Linux Ubuntu 12.04。为什么我得到这个输出?如果我做错了什么,任何人都可以指导我使用经过测试的方法以使其正常工作吗?

谢谢

PS:我目前正在为想要开始“玩”大数据的本科生写一个维基。因此,一大群人将从一个好的答案中受益:)

4

1 回答 1

2

请切换到新的 API,即“mapreduce”而不是“mapred”。此外,它更有意义,因为您计划为学生编写一个 wiki。它们应该是最新的。对吗?如果您需要有关如何设置 eclipse 来编写 MapReduce 程序的信息,您可能会发现此链接很有用。

于 2013-04-03T12:16:05.623 回答