hadoop - 带有 HAR 文件输入的 MapReduce 作业

Question

我创建了一个HAR包含多个小输入文件的文件。对于使用单个输入文件运行 map reduce 作业，这将是命令：

hadoop jar <jarname> <packagename.classname> <input> <output>

但是，如果上面<input>是一个 HAR 文件，那么该文件的所有内容HAR都被视为输入的命令是什么？

Answer 1

如果输入是 HAR 文件，则必须在输入位置给出以下内容

har:///hdfs path to har file

由于 hadoop 档案将作为文件系统公开，mapreduce 将能够使用 hadoop 档案中的所有文件作为输入。