0

我有一个问题，我真的不知道该怎么办。我有一个包含网页链接的 Hadoop 序列文件。Hadoop 序列文件的每个条目，键是一个网页的 URL，值是它的属性和链接。该值实际上是 Json 格式。我想读取所有序列文件并将值传递给杰克逊解析器以获取链接，但它总是失败。这是我的代码：

    Configuration conf = new Configuration();
    Path seqFilePath = new Path("metadata-00000");

    SequenceFile.Reader reader = new SequenceFile.Reader(conf, 
            Reader.file(seqFilePath));
    Writable key = (Writable)ReflectionUtils.newInstance(reader.getKeyClass(), conf); 
    Writable value = (Writable)ReflectionUtils.newInstance(reader.getValueClass(), conf);

    int count = 0;
    while(reader.next(key, value)) {

        System.out.println(value.toString());
        JsonParser jsonParser = new JsonFactory().createJsonParser(value.toString());
        while(jsonParser.nextToken() != JsonToken.END_OBJECT) {
            String name = jsonParser.getCurrentName();
            if(name.equals("server_ip")) {
                System.out.println(jsonParser.getValueAsString());
            }

            if(name.equals("links")) {
                while(jsonParser.nextToken() != JsonToken.END_ARRAY) {
                    String attribute = jsonParser.getCurrentName();

                    if(attribute.equals("href")) {
                        System.out.println(jsonParser.getValueAsString());
                    }                   
                }
            }
        }

        long position = reader.getPosition();
        System.out.println(position);
        count++;

        if(count == 5) {
            break;
        }
    }

文件“metadata-00000”是原始的 Hadoop 序列文件。如您所见，该值实际上是 json 格式，我想在 Jackson 解析器中对其进行分析。但是，这条线总是失败：

JsonParser jsonParser = new JsonFactory().createJsonParser(value.toString());

例外是：

Exception in thread "main" java.lang.NoClassDefFoundError: com/fasterxml/jackson/core/JsonFactory
    at WebParser.ParserTest.main(ParserTest.java:35)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
Caused by: java.lang.ClassNotFoundException: com.fasterxml.jackson.core.JsonFactory
    at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
    ... 6 more

那么我应该如何处理呢？如何将 Writable 值传输到 json 解析器？谢谢！

4

1 回答 1

0

您的应用无法归档类：com/fasterxml/jackson/core/JsonFactory

验证您的类路径中是否有 jackson-core jar。

或者尝试将其添加到您的pom.xml文件中（如果您使用 maven 作为构建工具）：

<dependency>
    <groupId>com.fasterxml.jackson.core</groupId>
    <artifactId>jackson-core</artifactId>
    <version>2.4.2</version>
</dependency>
于 2014-09-19T15:43:22.020 回答