0

当我通过提供正确的路径从 hdfs 读取文件时，文件被成功读取，但是当我尝试使用 jaql 的转换运算符时，它会引发如下所示的异常，如果我尝试在 JAQL shell 上执行代码，则会引发异常的 job.jar 但即使在添加 jar 之后仍然会抛出异常。如果有人知道现有的hadoop集群没有正确配置JAQL，或者异常是由于其他原因造成的？

我的代码是：

        jaql.setQueryString("read(lines('hdfs://hadoopserver:54310/dbreports/reports.json'," +
                                    "{format: 'org.apache.hadoop.mapred.TextInputFormat',converter: 'com.ibm.jaql.io.hadoop.converter.FromJsonTextConverter'})) -> transform $.store_number;"); 
                System.out.println("jaql running successfully...."); 
                JsonValue jv = jaql.evaluate();
                System.out.println("value is "+jv);

        when run it throws an exception as:


        Exception in thread "Thread-38" java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpMethod
            at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:295)
        Caused by: java.lang.ClassNotFoundException: org.apache.commons.httpclient.HttpMethod
            at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
            at java.security.AccessController.doPrivileged(Native Method)
            at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
            at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
            at sbt.PlayCommands$$anonfun$61$$anonfun$63$$anon$2$$anonfun$loadClass$1.apply(PlayCommands.scala:563)
            at sbt.PlayCommands$$anonfun$61$$anonfun$63$$anon$2$$anonfun$loadClass$1.apply(PlayCommands.scala:563)
            at scala.Option.map(Option.scala:133)
            at sbt.PlayCommands$$anonfun$61$$anonfun$63$$anon$2.loadClass(PlayCommands.scala:563)
            ... 1 more
        java.io.IOException: Job failed!
            ..........

有人知道我错过了什么吗？

4

0 回答 0