1

执行 MapReduce 程序时出现以下错误。我已将所有 jars 放在 hadoop/lib 目录中，并且还提到了 -libjars 中的 jars。

这是我正在执行的 cmd：

$HADOOP_HOME/bin/hadoop --config $HADOOP_HOME/conf jar /home/shash/distinct.jar  HwordCount -libjars $LIB_JARS WordCount HWordCount2

java.lang.RuntimeException: java.lang.ClassNotFoundException: 
org.apache.hcatalog.mapreduce.HCatOutputFormat at 
org.apache.hadoop.conf.Configuration.getClass(Configuration.java:996) at 
org.apache.hadoop.mapreduce.JobContext.getOutputFormatClass(JobContext.java:248) at org.apache.hadoop.mapred.Task.initialize(Task.java:501) at 
org.apache.hadoop.mapred.MapTask.run(MapTask.java:306) at org.apache.hadoop.mapred.Child$4.run(Child.java:270) at 
java.security.AccessController.doPrivileged(Native Method) at 
javax.security.auth.Subject.doAs(Subject.java:415) at 
org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1127) at 
org.apache.hadoop.mapred.Child.main(Child.java:264) Caused by: java.lang.ClassNotFoundException: org.apache.hcatalog.mapreduce.HCatOutputFormat 
at java.net.URLClassLoader$1.run(URLClassLoader.java:366) at 
java.net.URLClassLoader$1.run(URLClassLoader.java:355) at 
java.security.AccessController.doPrivileged(Native Method) at 
java.net.URLClassLoader.findClass(URLClassLoader.java:354) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:423) at 
sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308) at 
java.lang.ClassLoader.loadClass(ClassLoader.java:356) at 
java.lang.Class.forName0(Native Method) at 
java.lang.Class.forName(Class.java:264) at 
org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:943) 
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:994) ... 
8 more
4

2 回答 2

2

确保 LIB_JARS 是一个逗号分隔的列表（而不是像 CLASSPATH 那样的冒号分隔）

于 2013-10-23T17:42:35.103 回答
0

适用于 CDH 5.0.x CDH 5.1.x CDH 5.2.x CDH 5.3.x Sqoop

原因 Sqoop 无法获取 HCatalog 库，因为 Cloudera Manager 未设置 HIVE_HOME 环境。需要手动设置。

使用以下 JIRA 跟踪此问题： https ://issues.apache.org/jira/browse/SQOOP-2145

自 5.4.0 版以来，此 JIRA 的修复程序已包含在 CDH 中。

解决方法：适用于低于 5.4.0 的 CDH 版本。

在调用 Sqoop 命令或将它们添加到 /etc/sqoop/conf/sqoop-env.sh 之前，在 shell 中执行以下命令（如果它不存在，则创建一个）：

export HIVE_HOME=/opt/cloudera/parcels/CDH/lib/hive   (for parcel installation)
export HIVE_HOME=/usr/lib/hive (for package installation)
于 2015-12-01T19:08:17.557 回答