hadoop - 使用 GenericOptionsParser 和 ToolRunner 的分布式文件

Question

我曾经使用（这使用 GenericOptionsParser）运行 hadoop mapreduce

hadoop jar app.jar app -files /home/some/file#file

但是在最新版本的hadoop中，我得到了

Hadoop command-line option parsing not performed. Implement the Tool interface and execute your application with ToolRunner to remedy this.

那么如何-files使用 ToolRunner 实现在所有 mapreduce 节点之间共享的选项呢？

Answer 1

显然以前的已经被弃用了......

这就是我所做的......

import org.apache.hadoop.conf.Configuration; . . . Configuration conf = new Configuration(); . Job job = Job.getInstance(conf, "appname"); job.setJarByClass(appname.class); . . job.addCacheFile(new URI("/file/in/hdfs/APP/appfile#appfile")); . .