1

我正在使用 ToolRunner 运行我的作业

public class ToolRunner1 extends Configured implements Tool {
public static void main(String[] args) throws Exception {
System.out.println("In main");
 int exitCode = ToolRunner.run(new ToolRunner1(), args);
 System.exit(exitCode);
 }

 @Override
public int run(String [] args) throws Exception {

Configuration conf = getConf();
FileSystem fs = FileSystem.get(conf);    
Path p1 = new Path(conf.get("input1")); //Receving a NULL Value
Path p2 = new Path(conf.get("input2")); //Receving a NULL Value
Path p3 = new Path(conf.get("output")); //Receving a NULL Value
if (fs.exists(p3)) {
 fs.delete(p3, true);
}
Job job = new Job(conf, "ToolRunner");
job.setJarByClass(ToolRunner1.class);
job.setOutputKeyClass(Text.class);
job.setOutputValueClass(IntWritable.class);

job.setMapperClass(Map.class);
job.setReducerClass(Reduce.class);

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(TextOutputFormat.class);

FileInputFormat.addInputPath(job,p1);
FileOutputFormat.setOutputPath(job, p3);

boolean success = job.waitForCompletion(true);
return(success ? 0 : 1);
 }

}

我运行的命令：

hadoop jar toolru.jar -D input1=/home/sreeveni/myfiles/tab -D input2=/home/sreeveni/myfiles/tab -D output =/home/sreeveni/myfiles/OUT/Toll

但是得到

Exception in thread "main" java.lang.IllegalArgumentException: Can not create a Path from a null string

我做错什么了吗？请建议。

编辑 正如克里斯建议的那样，我更新了我的代码。并且通过 Eclipse IDE 工作正常当我将我的 jar 移植到集群时，它给出了同样的错误

hadoop jar toolru.jar tool.ToolRunner1 -D input1=/home/sreeveni/myfiles/tab -D input2=/home/sreeveni/myfiles/tab -D output =/home/sreeveni/myfiles/OUT/Toll
4

2 回答 2

4

我想你想要：

Configuration conf = getConf();

代替

Configuration conf = new Configuration();
于 2014-05-19T05:20:28.737 回答
-2

试试这个，而不是使用 -D 选项，使用命令行参数，然后使用 String [] args，来创建路径（新路径（args[0]）等）。

这可能会为您提供有关 -D 选项用法的线索（-D 选项是否可用于用户定义的键值对，或者该选项仅用于添加配置（core-*.xml）级别更改）。

你是如何在eclipse中执行的？你能给出运行期间应用的参数（运行配置）吗？

于 2014-05-20T08:32:13.240 回答