0

我正在尝试运行地图缩减作业。我使用 eclipse 创建了一个可运行的 jar，我的输入格式类和输出格式类与启动作业的类在同一个包中。所有这些都包含在罐子中。我设置输入输出格式类如下：

job.setInputFormatClass(fully_qualified_name_of_my_input_class.class);
job.setOutputFormatClass(fully_qualified_name_of_my_output_class.class);

但是，当我使用我的输出格式类执行 jar 时，hadoop jar myJar.jar我得到类未找到异常，但我的输入格式类没有得到它。如何纠正这个？这里是堆栈跟踪

java.lang.RuntimeException: java.lang.ClassNotFoundException: my-class-name
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:867)
    at org.apache.hadoop.mapreduce.JobContext.getOutputFormatClass(JobContext.java:235)
    at org.apache.hadoop.mapred.Task.initialize(Task.java:513)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:353)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:416)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1121)
    at org.apache.hadoop.mapred.Child.main(Child.java:249)
Caused by: java.lang.ClassNotFoundException: my-class-name
    at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
    at java.lang.Class.forName0(Native Method)
    at java.lang.Class.forName(Class.java:266)
    at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820)
    at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:865)
    ... 8 more
4

2 回答 2

2

在设置工作时尝试添加以下内容。

job.setJarByClass(fully_qualified_name_of_my_input_class.class)

有关更多信息，请参阅有关 Job 类的 setJarByClass 方法的 Hadoop 查询。

于 2013-10-25T17:33:03.337 回答
-1

ClassNotFoundException被抛出，因为 JVM 无法找到该类。这可能是由于以下原因：-

  1. 真正的欲望课不见了。
  2. 课程在那里，但由于一些错误。JVM 无法找到它。

在第一种情况下，添加类

在第二种情况下，删除 bin 文件夹中的所有类文件并清理项目。

现在重新运行您的代码。它将解决异常。

于 2015-07-03T15:03:10.957 回答