3

我正在尝试在我的 Hadoop Streaming 脚本中使用Elephant Bird的输入格式。特别是，我想使用 LzoInputFormat 并最终使用 LzoJsonInputFormat（在此处使用 Twitter 数据）。但是当我尝试这样做时，我不断收到一个错误，提示 Elephant Bird 格式不是 InputFormat 类的有效实例。

这就是我运行 Streaming 命令的方式：

hadoop jar /usr/lib/hadoop/contrib/streaming/hadoop-streaming-0.20.2-cdh3u5.jar \                                                                                                          
    -libjars /project/hanna/src/elephant-bird/build/elephant-bird-2.2.0.jar \                                                                                                              
    -D stream.map.output.field.separator=\t \                                                                                                                                              
    -D stream.num.map.output.key.fields=2 \                                                                                                                                                
    -D map.output.key.field.separator=\t \                                                                                                                                                 
    -D mapred.text.key.partitioner.options=-k1,2 \                                                                                                                                         
    -file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/filter/filterMap.py \                                                                                                   
    -file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/filter/filterReduce.py \                                                                                                
    -file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/data/latinKeywords.txt \                                                                                                
    -inputformat com.twitter.elephantbird.mapreduce.input.LzoTextInputFormat \                                                                                                             
    -input /user/ahanna/lzotest \                                                                                                                                                          
    -output /user/ahanna/output \                                                                                                                                                          
    -mapper filterMap.py \                                                                                                                                                                 
    -reducer filterReduce.py \                                                                                                                                                             
    -partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner

这是我得到的错误：

Exception in thread "main" java.lang.RuntimeException: class com.hadoop.mapreduce.LzoTextInputFormat not org.apache.hadoop.mapred.InputFormat
    at org.apache.hadoop.conf.Configuration.setClass(Configuration.java:1078)
at org.apache.hadoop.mapred.JobConf.setInputFormat(JobConf.java:633)
at org.apache.hadoop.streaming.StreamJob.setJobConf(StreamJob.java:707)
at org.apache.hadoop.streaming.StreamJob.run(StreamJob.java:122)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:79)
at org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:616)
at org.apache.hadoop.util.RunJar.main(RunJar.java:197)
4

2 回答 2

4

在 hadoop 2.4 中，我设法让它运行：

-D org.apache.hadoop.mapreduce.lib.input.FileInputFormat=your.package.path.FileInputFormat

而不是标准-inputformat

于 2014-07-30T11:53:30.037 回答
2

为了兼容性，Hadoop 支持两种用 Java 编写 map/reduce 任务的方法：“旧”一种通过org.apache.hadoop.mapred包中的接口，“新”通过org.apache.hadoop.mapreduce包中的抽象类。

即使您使用流式 API，您也需要知道这一点，因为流式传输本身是使用旧方法编写的，因此当您想使用外部库更改流式传输机制的某些内部时，您应该确保该库是也是用老派的方式写的。

这正是发生在你身上的事情。通常情况下，您会编写一个包装器，但幸运的是Elephant Bird提供了一个老式的InputFormat，所以您只需要替换com.twitter.elephantbird.mapreduce.input.LzoTextInputFormat为com.twitter.elephantbird.mapred.input.DeprecatedLzoTextInputFormat.

于 2012-10-17T20:25:46.503 回答