1

我正在尝试通过以下方式将我自己的 TableInputFormat 用于 MapReduceJob

TableMapReduceUtil.initTableMapperJob("mytable", MyScan, MyMapper.class, MyKey.class, MyValue.class, myJob,true, MyTableInputFormat.class);

当我运行作业时，我得到一个 ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableMapper - 知道为什么吗？

如果我不使用 initTableMapperJob 的最后两个参数，那么就没有 ClassNotFoundException（但显然这违背了目的）

我现在为此苦苦挣扎了几天。这是某人做同样的事情扩展 Hadoop 的 TableInputFormat 以使用用于分发时间戳键的前缀进行扫描的地方，但我无法在该线程上提出问题。

我正在使用 Hadoop 2 开发 Cloudera Cluster 4.3.0

添加堆栈跟踪错误：

java.lang.ClassNotFoundException: org.apache.hadoop.hbase.mapreduce.TableMapper at 
java.net.URLClassLoader$1.run(URLClassLoader.java:202) at 
java.security.AccessController.doPrivileged(Native Method) at 
java.net.URLClassLoader.findClass(URLClassLoader.java:190) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:306) at 
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:301) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:247) at 
java.lang.ClassLoader.defineClass1(Native Method) ....

非常感谢您的帮助

问候

4

1 回答 1

1

请参阅覆盖 TableMapper 拆分。所以我覆盖了 TableMapReduceUtil 并将 TableMapper.class 添加到 addDependencyJars 方法中。然后我以相同的方式进行， MyTableMapReduceUtil.initTableMapperJob("MyTable", // input table myScan, MyMapper.class, MyKey.class, MyValue.class, myJob, true,CustomSplitTableInputFormat.class); 其中 CustomSplitTableInputFormat 扩展 TableInputFormat

于 2013-08-02T17:10:07.383 回答